사람들은 AGI와 ASI을 동의어, 상표명, 또는 공상과학 분위기 조명처럼 사용한다. 그렇지 않다. 구분이 중요한 이유는 통제 문제와 정책 수단이 사다리를 오를수록 달라지기 때문이며, 연구소들이 자금 조달을 위해 ‘AGI’에 가깝게 말하면서 규제를 피하기 위해 위험에서 멀다고 말하는 인센티브가 있기 때문이다.
간단한 정의
협소 인공지능 는 한정된 작업을 위해 만들어집니다: 동영상을 추천하고, 단백질을 접고, 종양을 찾아냅니다. 그것은 뛰어날 수 있지만 여전히 범용 에이전트는 아닙니다.
AGI AGI는 인간 수준의 다양한 작업에 대한 광범위하고 유연한 능력을 의미하며, 프롬프트에만 답하는 것이 아니라 목표를 추구할 수 있는 충분한 자율성을 갖습니다. 정의는 다르지만, 핵심 아이디어는 일반성과 사용 가능한 자율성입니다.
ASI (인공 초지능)은 과학, 전략, 권력에 중요한 거의 모든 영역에서 인간을 실질적으로 능가하는 인지 성능을 의미합니다. "AGI에 10퍼센트를 더한 것"이 아닙니다. 누가 누구를 앞설 수 있는지에 대한 질적 단절입니다.
두 개의 통이 아닌 사다리
단계로 생각하십시오. 오늘날 최전선 모델은 넓지만 고르지 않고, 인간이 많이 보강하며 빠르게 개선되고 있습니다. 에이전트 스택(도구, 메모리, 계획 루프)은 기본 모델이 채팅 상자가 시사하는 것보다 훨씬 더 자율적으로 행동하게 만들 수 있습니다. ASI급 에이전시는 정렬되지 않으면 이미 심각한 통제 및 사회 문제입니다. AGI는 결정적 우위입니다. 더 빠른 과학, 더 나은 전략, 인간 편향의 더 나은 이용, 더 어려운 종료.
영역 특화 초지능은 오래된 이야기다. 체스나 단백질 접힘에서 인간을 압도하는 시스템도 여전히 좁을 수 있다. 영역을 넘나드는 전략적 초지능이 이 사이트가 막으려는 단계다.
왜 "우리는 AGI에서 멈출 것이다"가 불안정한가
연구소가 제어 가능한 인간 수준의 범용 시스템에 도달한다고 가정해 보십시오. 더 나아가려는 압력은 사라지지 않습니다. 군사적 이점, 상업적 우위, 명성 모두 사다리를 오르라고 가리킵니다. 경쟁 역학은 가장 신중하지 않은 움직임을 보상합니다. 경쟁 이야기 종종 속도를 정당화하는 데 사용되지만 통제를 정당화하지는 않습니다.
마케팅 없는 측정
벤치마크는 떨어지고 보도자료는 올라갑니다. 위험 능력 평가는 통제된 조건에서 사이버 공격, 생물학 지원, 자율 복제, 설득을 측정하려 합니다. 도움이 됩니다. 특히 시스템이 성능 저하. 정책은 연산, 능력 테스트, 자율성을 기준으로 해야 하며, 기업이 제품이라고 부르는 것에 의존해서는 안 됩니다.
시간을 낭비하는 신화
AGI는 로봇 몸체를 필요로 하지 않는다. 원격 도구와 기존 기계가 물리적 세계를 움직인다. 의식은 능력 및 통제와 별개의 문제이다. "인간 수준"은 하나의 숫자가 아니다. 중간값 사람, 전문가 팀, 인류 제도적 최선은 서로 다른 기준이다. 안전 관련 AGI는 실제 인센티브 아래 일반 문제 해결 주체성에 관한 것이지, 단일 시험 점수가 아니다.
법으로 들어가는 것
법령이 "AGI" 또는 "ASI"이라는 이름이 붙은 시스템만 규제한다면 기업들은 이름을 바꿀 것이다. 좋은 규제 기준은 운영적이다. 학습 규모, 도구 자율성, 위험 능력 평가 결과, 고성능 범용 모델의 가중치 공개 등이 해당한다. 도구처럼 남아 있는 좁은 인공지능은 계속 허용해야 한다. 이 재단이 그리는 선은 인공 초지능과 이를 목표로 하는 프로그램이다.
1분 안에 말하는 방법
협역 AI: 도구. AGI: 인간 수준의 일반 에이전시, 자율적이고 오정렬된 경우 이미 심각한 통제 문제. ASI: 모든 영역에서 우리를 능가하는 기계 인지. 우리는 도구는 유지할 수 있다. 우리는 주권적 마음을 만들어서는 안 된다. 초지능은 통제될 수 없다. 요청은 우리의 계획.