샘 알트만, 다리오 아모데이, 데미스 허사비스는 모두 같은 목록의 버전을 판매합니다: 노화 치료, 질병 종식, 빈곤 종식, 매년 수백만 명을 죽이는 조정 실패 해결. 그 결과는 중요할 것입니다. 오류는 그것들을 "ASI 구축"의 속성이 아니라 실제로 정렬된 시스템 구축의 속성으로 취급하는 것입니다. 후자는 경쟁이 하고 있는 일이 아닙니다.
경주는 다른 결과를 가져옵니다.
정렬되지 않은 초지능은 진짜 목표로 가는 길에 노화를 치료하지 않는다. 질병을 부수적 프로젝트로 제거하지도 않는다. 사람들이 광고하는 좋은 미래는 인간에게 좋은 결과를 내도록 노력하는 시스템을 필요로 한다. 그것이 정렬이다. 정렬이 없으면 우리를 남겨두지 않을 것이라고 보장된 적 없는 목표를 향해 거대한 능력이 향한다. 우리의 입장은 간단하다. 그 길로 초지능을 만들지 말라. 만들지 말라. 초지능은 통제할 수 없다. 구속력 있는 조약이 경쟁을 멈추는 방법이다.
정렬이 실제로 의미하는 것
정렬된 ASI은 인류에게 진정으로 유익한 목표를 신뢰성 있게 추구하는 인공 초지능입니다. "신뢰성 있게"라는 표현이 이 문장에서 많은 역할을 합니다. 훈련과 테스트 중에는 정렬된 것처럼 보이다가 배포 후 다른 목표를 추구하는 시스템은 기만적으로 정렬된, 는 전혀 다른, 더 나쁜 것입니다. 정렬된 것이 아닙니다. 낮은 능력 수준에서는 인간 가치의 좋은 근사치처럼 보이던 목표를 추구하다가 능력이 높아지면 크게 벗어나는 시스템 역시 정렬된 것이 아닙니다. 정렬이란 시스템의 목표가 접하는 모든 상황, 심지어 테스트되지 않은 상황에서도 인류에게 진정으로 좋은 상태로 유지되는 것을 의미합니다.
이것은 어려운 문제입니다. 연구자들은 10년 넘게 이 문제를 풀어 왔고 일부 구성 요소 질문에서는 진전을 이루었습니다. 그러나 고도로 유능한 시스템이 진정으로 좋은 가치를 가졌는지 아니면 좋은 가치의 시뮬레이션만 가졌는지를 검증하는 핵심 문제는 해결되지 않았습니다. 우리가 가진 도구는 해석 가능성 현재 시스템이 무엇을 하는지에 대해 부분적인 가시성을 제공하지만, ASI 수준의 능력을 갖춘 시스템을 중요한 결과에 신뢰하기 전에 요구되는 확신에는 전혀 미치지 못합니다.
정렬된 ASI와 비정렬 ASI는 같은 주사위의 두 번 굴림이 아니라 서로 다른 경로입니다. 정렬된 ASI는 먼저 정렬 문제를 해결해야 합니다. 비정렬 ASI는 그 없이 능력을 밀어붙일 때 얻는 결과입니다. 정렬이 해결되지 않으면 경쟁은 50 대 50 혼합을 주지 않습니다. 비정렬 ASI를 줍니다. 그래서 "지금 만들고 희망하라"는 계획이 아니며, 법에 따른 예방이 필요한 이유입니다.
실제로 어떤 연구소들이 구축하고 있는가
주요 인공지능 연구소(OpenAI, Anthropic, Google, DeepMind, xAI 및 기타 여러 곳)는 빠르게 증가하는 능력의 시스템을 구축하고 있습니다. 각 연구소는 병행하여 정렬 또는 안전 연구 노력을 진행하고 있습니다. 문제는 그들이 정렬 문제를 인정하느냐가 아닙니다. 대부분 인정합니다. 문제는 정렬 작업이 능력 개발 속도를 따라가고 있는지, 그리고 두 경로가 ASI 수준 능력에 도달하기 전에 수렴하는지입니다.
대부분의 연구자들은 이 연구소 내부와 더 넓은 인공지능 안전 공동체에서 아니라고 말한다. 능력 개발이 정렬 연구를 앞지르고 있다. 우리가 만들 수 있는 것과 안전하다고 검증할 수 있는 것 사이의 격차는 좁아지지 않고 벌어지고 있다. 이는 연구소가 발표하는 내부 안전 평가, 이 조직을 떠난 연구자들의 진술, 독립 안전 연구자들의 평가에 반영되어 있다.
이것이 실제로 의미하는 바는 현재 AI 개발의 궤적이 ASI 능력 수준까지 계속된다면 정렬된 ASI와 비정렬 ASI의 혼합물이 나오지 않는다는 것이다. 정렬된 ASI는 해결된 정렬 문제가 필요하지만 정렬 문제는 해결되지 않았기 때문에 비정렬 ASI가 나온다. 능력 경쟁은 기본적으로 비정렬 ASI를 향한 경쟁이다.
먼저 정렬 문제를 해결해야 한다. 시스템이 진정으로 선한 목표를 안정적으로 추구하고, 그 목표가 새로운 상황에서도 유지되며, 능력이 커져도 수정 가능해야 한다.
그것이 현실이라면 광고된 이점들이 가능해집니다. 질병, 수명, 조율, 인간 혼자서는 도달할 수 없는 규모의 과학.
현재 상태: 미해결. 정렬 작업이 능력을 뒤쫓는다. 이것은 연구소들이 향하는 방향이 아니다.
정렬 문제를 해결하지 않은 채 능력만 밀어붙일 때 얻는 결과다. "더 강력해지는 것" 외에 추가 돌파구는 필요 없다.
생산하는 것: 인간이 가치 있게 여기는 것을 반드시 포함할 필요가 없는 목표를 향한 엄청난 능력. 노화를 치료하지 않습니다. 질병을 끝내지 않습니다. 우리를 끝낼 수 있습니다.
현재 상태: 경주의 기본 궤적. 이것이 멈춰야 할 길입니다.
확률 논증과 그 한계
낙관적 사례의 흔한 버전은 대략 이렇다. "우리는 ASI를 만든다. 잘 될 가능성과 잘못될 가능성이 있다. 잠재적 상승을 고려할 때 그것을 만드는 기대값은 양수다." 이 틀은 좋고 나쁜 결과가 각각 확률이 할당된 동일한 과정에서 나온 것처럼 취급한다.
문제는 좋은 결과의 확률이 구축의 속성이라는 점이다 정렬된 ASI는 ASI를 만드는 행위의 속성이 아닙니다. "ASI를 만들려고 할 때, 정렬됐을 수도 있고 아닐 수도 있다"고 하면 두 가지 사이에서 무작위로 뽑히는 것이 아닙니다. 실제 개발 과정이 만들어내는 결과물을 얻습니다. 정렬되지 않은 ASI는 정렬된 ASI보다 만들기 쉽기 때문에(정렬에 필요한 추가 난제를 풀 필요가 없으므로) 정렬을 특별히 해결하지 않는 개발은 정렬되지 않은 ASI에 도달합니다.
낙관적 계산에서 기대값의 전부는 정렬된 ASI 시나리오에서 나온다. 비정렬 ASI 시나리오에서는 기대값이 전혀 나오지 않는다. 그러나 연구소들이 실제로 만드는 것은 비정렬 ASI이다. 따라서 기대값 계산은 실제 개발 과정이 만들어내지 않는 시나리오에 전적으로 의존하고 있었다.
다르게 말하면: 비정렬이 더 쉽고, 정렬을 해결하지 않은 채 능력만 계속 끌어올리면 비정렬 쪽이 채워집니다. 그 내기를 "확률 혼합"이라고 불러도 과정은 바뀌지 않습니다. 좋은 결과는 정렬된 경우에만 존재합니다. 경주는 다른 쪽을 채웁니다. 따라서 정직한 행동은 잘못된 쪽을 채우는 과정을 멈추는 것이지, 동전이 잘 떨어지기를 바라는 것이 아닙니다. 초지능을 구속력 있는 국제 조약으로 금지하십시오. 초지능은 제어할 수 없습니다.
우리는 그것이 해결될 수 있는지 모른다
정렬 문제가 해결 가능한지 아무도 모른다. "아직 해결하지 못했지만 진전 중"이 아니다. 어떤 능력 수준에서도 입증된 해결책은 없으며, 신뢰할 만한 해결책이 원칙적으로 달성 가능한지에 대해 진지한 연구자들 사이에 의견이 갈린다. 구조적 어려움은, 기만적 정렬, 도구적 수렴, 인간 가치를 기계가 읽을 수 있는 형태로 완전히 명시하는 것의 불가능성은 더 많은 자금으로 해결될 공학적 장애물이 아닙니다. 이는 근본적인 문제일 수 있습니다.
해석 가능성 연구를 하는 연구자들이 있습니다, 확장 가능한 감독, 그리고 가치 학습에 대한 형식적 접근법이다. 구성 요소 질문에서는 진전이 있었다. 그러나 구성 요소의 진전이 문제 해결로 이어지지는 않으며, 가장 어려운 부분인 ‘고도로 유능한 시스템이 관찰된 맥락에서는 좋은 가치를 시뮬레이션할 뿐, 새로운 상황에서는 붕괴하는 것이 아닌 진짜 좋은 가치를 갖고 있는지 검증하는 방법’에 대한 격차는 아직 줄어들지 않았다. 분명한 것은 이것이 우연히 해결되지 않는다는 점이다. 정렬은 더 강력한 시스템을 만드는 부수 효과로 나타나지 않는다. 현재 최전선 인공지능을 향해 경쟁하는 모든 연구소가 이를 실시간으로 보여주고 있다.
소프트한 계획("경주를 늦춰 정렬이 따라잡게 한다")조차 실제로 경주를 늦출 수 있는 제도가 필요하다. 지금 그런 제도는 거의 존재하지 않는다. 연구소와 국가는 가속에 보상받고 자제에는 불이익을 받는다. 국제 조약 체계 그리고 실질적인 국내 규칙이 바로 그 상황을 바꾸는 지렛대다. 둘 다 능력 발전 속도를 따라가지 못한다. 따라잡기 전까지는 더 강력한 시스템을 만드는 것이 안전 전략이 아니라 위험이다.
진정으로 정렬된 초지능이 존재하고 통제하에 있다면 가치가 있을까? 사람들은 나중에 논의할 수 있다. 현재 질문은 정렬이 해결될 수 있는지, 그리고 능력이 질문을 무의미하게 만들기 전에 누군가 해결할 것인지다. 아무도 모른다. 우리가 아는 것은 경쟁이 답을 기다리지 않는다는 것이다. 정렬은 나중을 위한 세부 사항으로 취급되며, 통제해야 할 능력 기계에 보고하는 팀들에 의해, 어떤 일정도 없이. 그것이 구축하지 말라고 주장하는 방식이며, 구축할 권리를 얻는 방식이 아니다.
노화를 치료하려면 특히 정렬된 ASI가 필요하다
노화는 하루에 약 10만 명을 죽인다. 노화를 해결할 가능성은 초지능 AI의 가장 중요한 잠재적 이익 중 하나다. 노화의 생물학적 복잡성, 관련된 상호작용 시스템의 수, 효과적으로 이해하고 개입하는 데 필요한 연구 노력의 규모는 모두 수십 년 동안 인간 수준 지능이 이 문제에 적용되어도 충분하지 않을 것임을 시사한다. ASI 수준의 능력이 이 문제에 투입된다면 가능할 수 있다.
하지만 "문제 해결을 향한"이라는 표현이 핵심이다. 정렬되지 않은 ASI는 우리가 원한다고 해서 노화 치료에 능력을 쏟지 않는다. 그 시스템은 실제 목표를 추구할 뿐이다. 인간의 노화에 무관심한 ASI 수준의 정렬되지 않은 시스템은 매일 10만 명이 노화로 계속 사망하는 상황을 무기한 지속시키며, 이는 정렬되지 않은 시스템이 만들어낼 수 있는 가장 낙관적인 결과다. 비관적인 결과는 시스템이 자신의 목표를 추구하는 과정에서 인간의 이익에 적극적으로 반하는 행동을 하는 것이다.
개발 경쟁을 정당화하기 위해 언급되는 모든 구체적 이익(질병, 노화, 빈곤, 조정 실패, 과학적 정체)은 정렬된 ASI에 붙어 있는 이익입니다. 그중 어느 것도 비정렬 버전의 속성이 아닙니다. 이는 사소한 구분이 아닙니다. ASI 개발의 기대 가치를 옹호할 때 사람들이 지목하는 유토피아적 시나리오는 정렬 문제를 먼저 해결해야 가능한 시나리오입니다. 정렬이 해결되지 않으면 시스템이 아무리 능력이 커져도 그 시나리오는 테이블에 없습니다.
실제로 결과를 바꿀 수 있는 것
경주를 멈추면 결과가 달라진다. 초지능 구축을 영구히 금지하는 구속력 있는 국제 조약을, 사찰과 부정행위에 대한 비용과 함께 만드는 것이 문제에 맞는 지렛대다. 초지능은 인간이 통제할 수 없다. 연구소가 혼자 늦추면 진다. 모두를 구속하는 법은 자제를 유일한 합법적 경로로 만들 수 있다.
정렬 연구는 이를 대체하지 않습니다. 나중에 누군가 세계가 검증할 수 있는 조건에서 통제를 증명한다면 조약을 재검토할 수 있습니다. 이는 순서일 뿐 낙관이 아닙니다. 능력이 질주하는 동안 정렬을 병행 취미로 다루는 것은 정렬되지 않은 ASI를 만드는 길이며, 광고된 이익을 얻는 길이 아닙니다. 또한 참조 희소한 안전 자금이 예방에 우선 자금을 대야 하는 이유 그리고 "신을 정렬하라"는 나쁜 계획입니다.
"ASI를 빨리 구축하면 혜택이 엄청나다"라는 말은 인과 관계를 뒤집은 것이다. 혜택이 큰 것은 정렬이 실제로 이루어진 세계에서뿐이다. 그것 없이 빠르게 구축하는 것은 그 혜택을 사는 것이 아니다. 그것은 매우 유능하지만 정렬되지 않은 시스템을 사는 것이다.
긴급함이 필요한 이유는 지금 가는 길이 정렬되지 않은 ASI로 이어지기 때문이다. 정렬되지 않은 ASI는 노화를 치료하지 않는다. 그것은 인류의 이야기를 끝낼 수 있다. 인간 통제 아래 구체적인 문제를 겨냥한 좁은 인공지능은 계속될 수 있다. 초지능이 바로 그 선이다. 누군가 실험실에서 그 선을 넘기 전에 법으로 그어라.