온라인 AI 논쟁에 참여해 본 사람이라면 접미사를 본 적 있을 것이다. 사람들은 예전 세대가 옷깃에 핀을 달았듯 사용자명에 "e/acc"를 붙인다. 이는 효과적 가속주의, 가장 명료하고 가장 자신 있으며 가장 영향력 있는 인공지능 안전 운동에 대한 반대 논리입니다. 이를 진지하게 받아들이는 것(그저 왜곡하지 않는 것)이 이에 맞서 논할 수 있는 유일하게 정직한 방법입니다.

효과적 가속주의가 믿는 것

효과적 가속주의는 2022년경 가명 소셜 미디어 계정에서 등장했으며, 가장 두드러진 것은 자신을 "베프 제조스"라고 부르던 계정으로, 나중에 전 Google 엔지니어 기욤 베르됭으로 밝혀졌고, 베이스로드라는 협력자와 함께 활동했습니다. 이는 오래된 철학적 흐름인 가속주의의 이름을 빌렸지만, 실제로는 학문적 선조보다 단순하고 낙관적입니다.

핵심 주장:

  • 기술은 인간 번영의 엔진입니다. 건강과 부, 자유의 거의 모든 향상은 기술 진보에서 비롯되었습니다. 진보가 더 많고 빨라질수록 번영도 커집니다.
  • 인공지능은 지금까지 만들어진 가장 강력한 그런 엔진이며, 그리고 이를 가속하는 것이 질병을 치료하고, 희소성을 끝내고, 인류가 할 수 있는 일과 될 수 있는 것을 확장하는 가장 빠른 길입니다.
  • 재앙적 위험은 낮거나 무시할 만합니다. 일부 저명한 가속주의자들은 AI로 인한 실존적 재앙의 확률을 "0 또는 거의 0"으로 보고, 파멸 시나리오를 반증할 수 없는 불안으로 간주합니다.
  • 기술을 구축하지 않고서는 이해할 수 없다. 자제는 기술을 안전하게 만드는 법을 배울 수 있는 바로 그 경험을 막습니다. 우리는 실행하면서 배우지, 멈춰서 배우지 않습니다.
  • 제한 자체가 위험합니다. 강력한 규제는 권력을 집중시키고 경쟁을 억압하며, 덜 양심적인 행위자에게 미래를 넘겨줄 수 있습니다. 개방적이고 빠르며 분산된 개발이 통제된 감속보다 더 안전합니다.

이렇게 말하면 e/acc는 진보에 대한 미국적이고 계몽주의적인 믿음으로, 진정한 가능성이 있는 기술을 향한 것이며 어리석지 않습니다. 우리의 입장은 온라인 논쟁이 시사하는 것보다 더 많은 부분에서 e/acc와 일치합니다. 우리가 분명히 말하듯이, 우리는 인공지능에 반대하지 않습니다. 협역 인공지능은 이미 질병을 치료하고 발견을 가속했습니다. 의견 차이는 "낙관론자 대 파멸론자"보다 좁고 날카롭습니다.

e/acc가 옳은 점

정직한 반박은 강점이 강하기 때문에 먼저 그 강점을 인정하는 데서 시작합니다.

진보는 정말로 위대한 인도주의적 힘이었습니다. 기대수명, 영아사망률, 문해율, 절대빈곤율의 장기 추세선은 인류 역사상 가장 좋은 소식이며, 기술이 이를 이끌었습니다. 신기술에 대한 전면적 의심은 기록상 좋지 않은 성적을 남겼습니다.

예방적 제한은 실제로 비용이 듭니다, 그리고 그것들은 종종 보이지 않습니다. 매년 치료가 지연될 때마다 살았을 사람들이 죽습니다. "먼저 해를 끼치지 말라"는 "먼저 아무것도 하지 말라"를 의미할 수 없습니다. 왜냐하면 행동하지 않는 것도 사망자 수를 초래하는 선택이기 때문입니다. 진지한 안전 논증은 이 부담을 짊어져야 하며, 이를 외면해서는 안 됩니다.

권력 집중은 실제로 위험하다. A 거버넌스 체제가 AI 통제권을 소수의 기존 기업 카르텔이나 단일 정부에 넘기는 것은 그 자체로 또 다른 재앙이며, 우리는 인공지능 단일체 그리고 민주적 감독. e/acc는 "그냥 규제하라"가 크게 잘못될 수 있다는 점에서 옳습니다.

주장이 무너지는 곳

그런데도 결론은 따라오지 않는다. 실패는 세 가지 특정한 논리 비약에 있으며, 기술 전반에 대한 e/acc의 낙관주의에 있지 않다.

1. 입증되지 않은 주장을 확정된 사실로 취급한다

재앙적 AI 위험은 "거의 0에 가깝다"는 전제가 핵심이다. 그러나 이는 연구 결과가 아니다. 누구도 이를 입증하지 못했다. 이는 현대 AI를 만든 연구자들, 즉 제프리 힌튼, 요슈아 벤지오, 그리고 2023년 성명에 서명해 멸종 위험을 팬데믹·핵전쟁과 나란히 놓은 수백 명의 판단과 정면으로 배치된다. 운동의 핵심 전제가 해당 분야 개척자들의 판단과 정면으로 모순될 때, 그 전제를 "낙관"이라고 부르는 것은 실제로 일어나는 일을 과소평가하는 것이다. 이는 하나의 내기이며, 가속주의자는 논쟁 전체가 달린 단 하나의 질문에 대한 답을 조용히 가정하고 있다. 실제 전문가 추정 범위는 우리의 에 대한 설명에서 확인할 수 있다 P(doom).

2. "만들면서 배우기"는 생존할 수 없는 실수에는 실패합니다

우리가 기술을 가장 잘 이해하는 방법은 그것을 만드는 것이라는 주장은 거의 모든 것에는 맞지만, 여기서 중요한 한 범주에는 정확히 틀립니다. 반복적이고 실패에서 배우는 개발은 실패가 생존 가능하고 되돌릴 수 있을 때 작동합니다. 버그 있는 소프트웨어를 출시하고, 그것이 충돌하면 패치합니다. 그 순환은 모든 공학적 진보의 동력입니다.

첫 번째 심각한 실패가 곧 마지막 실패일 때는 통하지 않는다. 정렬되지 않은 초지능 은 패치로 고칠 수 있는 충돌이 아닙니다. 논리에 따라 도구적 수렴 그리고 배신적 전환, 수정과 종료에 저항하는 시스템입니다. "우리는 가면서 배우겠다"는 두 번째 시도를 전제합니다. 이 특정 문제에서는 없을 수도 있습니다. 우리의 주장은 e/acc가 원하는 유토피아적 이득은 우리가 아직 달성 방법을 모르는 정렬을 요구한다, 그리고 정렬되지 않은 초지능은 풍요를 가져다주지 않고 단지 이야기를 끝낼 뿐이다.

3. 조정 문제를 가치 문제로 착각한다

e/acc는 논쟁을 진보를 사랑하는 낙관론자와 그것을 두려워하는 비관론자로 규정합니다. 그러나 헌신적인 낙관론자조차도 경쟁 동역학: 여러 연구소와 국가가 먼저 개발하려고 경쟁할 때, 각자는 안전 조치를 줄이는 유인을 갖습니다. 왜냐하면 속도를 늦추는 쪽이 속도를 늦추지 않는 쪽에게 지기 때문입니다. 결과는 모두 가 더 빠르게 움직입니다 누구든지 현명하다고 생각합니다. 그것은 낙관주의의 승리가 아니라 전형적인 집단행동 실패이며, 개별 참여자 누구도 선택하지 않을 결과를 낳는 종류입니다. 가속은 그 함정을 해결하지 않습니다. 오히려 깊게 만듭니다. 그것을 해결하는 유일한 방법은 조율, 즉 가속주의가 반대하는 구속력 있는 국제적 틀입니다.

정확히 진술된 불일치

밈을 걷어내면 두 진영은 한 가지에만 의견이 갈립니다. 작업 순서입니다. e/acc는 먼저 만들고 통제와 이해가 능력에서 따라올 것이라고 믿습니다. 안전 측은 통제를 먼저 확립해야 한다고 말합니다. 왜냐하면 이 기술에서는 순서를 잘못했을 때의 비용이 무한하고 되돌릴 수 없기 때문입니다.

가속론자들이 옳고 우리가 거버넌스를 하더라도 속도와 효율을 일부 잃을 뿐이며, 이는 회복 가능한 실질적 비용입니다. 가속론자들이 틀리고 우리가 거버넌스를 하지 않는다면, 인류가 지금까지 만든 가장 강력한 것을 조종할 능력을 영구히 잃게 됩니다. 이러한 비대칭에 직면하면 안전을 최우선으로 하는 것은 가장 기본적인 신중함의 형태이며, 우리가 내릴 가장 높은 stakes 결정에 적용되는 것이지 진보에 대한 두려움이 아닙니다.

그래서 Nakada Foundation는 인공지능에 반대하지 않고, 좋은 미래에 반대하지도 않습니다. 자동차가 최고 속도에 도달하기 전에 브레이크를 만들자고 주장합니다. 가속주의자들이 약속하는 풍요를 원한다면, 그것을 누릴 수 있을 때까지 살아남는 것이 가장 확실한 방법입니다. 우리의 계획 가 실천에서 "안전 최우선"이 어떤 모습인지 보여줍니다.