IPCC 스타일의 기구가 구축할 수 있을까요
인공지능 위험에 대한 과학적 합의?

공유된 과학적 기반이 없는 거버넌스는 공통 지도 없이 하는 협상입니다. 1990년 이전 기후 협상이 이 문제를 보여줍니다. 인간이 일으킨 온난화가 실제로 일어나고 있는지조차 다투는 정부들은 어떤 수준의 대응이 적절한지 합의할 수 없었습니다. 1990년에 발표된 IPCC의 첫 평가 보고서는 온난화가 일어나고 있으며 인간 활동 때문이라는 사실을 확립했습니다. 이 보고서가 무엇을 해야 하는지에 대한 정치적 논쟁을 끝내지는 않았지만, 문제 자체가 존재하는지에 대한 논쟁에서 문제에 어떻게 대응할지에 대한 논쟁으로 성격을 바꾸었습니다.

나카다 재단 이전에 기후 과학은 논쟁의 대상이었다. 30년에 걸친 나카다 재단 평가 보고서 이후, 기후 정책의 과학적 토대는 대응에 대한 정치적 논쟁이 남아 있더라도 사실상 확정되었다. AI 위험도 같은 권위 있는 종합이 필요하다. 동등한 기구를 구축하는 데 무엇이 필요한지는 구체적인 답이 있는 질문이다.

AI 위험을 둘러싼 정치는 아직 IPCC 이전 상태다. 최전선 AI 위험에 관한 증거를 종합하고, 재앙적 결과의 확률과 성격을 평가하며, 정부가 거버넌스 결정의 공통 사실 기반으로 삼을 결과를 도출하는 권위 있는 국제 기구가 없다. 이 공백은 사소한 불편이 아니다. 공유된 사실 전제가 없는 상태에서 시작된 거버넌스 협상은 위험이 가진 본질보다 전략적 이해관계에 의해 좌우되는 경우가 많다.

IPCC가 실제로 어떻게 합의를 이끌었는가

유럽연합은 독자 연구를 수행하지 않는다. 전 세계 대학과 연구소에서 수천 명의 과학자가 생산한 기존 동료 심사 논문을 종합 평가 보고서로 만든다. 종합 과정에는 수백 명의 전문 저자가 참여해 각 전문 분야의 출판된 문헌을 검토하고 요약한다. 정부와 언론인이 실제로 읽는 정책결정자를 위한 요약은 195개 유럽연합 회원국 정부 대표와 과학자 저자 사이의 줄 단위 협상을 통해 작성된다.

이 협상 과정은 IPCC의 정치적 권위의 원천이면서 동시에 보수적 성격의 원천이기도 합니다. 어떤 정부든 요약문의 특정 문구에 이의를 제기할 수 있으며, 요약문이 채택되기 전에 이의가 해결되어야 합니다. 따라서 요약문은 참여하는 모든 정부가 수용할 수 있는 최소 공통 분모를 반영하며, 이는 정치적 필터 없이 읽은 기초 과학이 지지할 내용보다 거의 항상 더 신중합니다. IPCC의 요약문은 요약하는 전체 평가 보고서에 비해 일관되게 긴급성을 낮춰 표현하는데, 요약문 언어가 정부 검토를 통과해야 하기 때문입니다.

이러한 보수적 편향에도 불구하고 IPCC의 평가는 영향력이 컸다. 1990년 첫 평가 보고서에서 인간이 초래한 온난화에 대한 기본 과학적 근거를 확립한 이후, 2022년 완료된 여섯 번째 평가 주기에서 증거를 명백하고 위험을 심각하고 광범위하다고 규정한 데 이르기까지, 누적된 규범적 변화가 정부가 기후 변화의 기본 사실을 공개적으로 부정하기 점점 더 어렵게 만들었다. 부정의 정치적 비용은 각 평가 주기마다 상승했는데, 이는 IPCC의 권위가 거의 모든 정치 체제에서 인정받기 때문이다.

퍼그워시 대안

IPCC 이전에 실존적 위험을 다루는 가장 영향력 있는 과학·정책 인터페이스는 퍼그워시 과학자와 세계 문제 회의였다. 퍼그워시는 1957년 러셀-아인슈타인 선언에 대한 응답으로 시작되었다. 1955년 알베르트 아인슈타인, 버트런드 러셀, 그리고 아홉 명의 저명한 과학자들이 서명한 이 선언은 핵무기의 위험을 경고하고 정부들이 평화적 수단으로 분쟁을 해결할 것을 촉구했다. 1957년 7월 노바스코샤 퍼그워시 마을에서 열린 첫 회의에는 미국·소련·영국 등 열 개국에서 스물두 명의 과학자가 모여 핵무기 위험을 논의했다.

퍼그워시가 공식 정부 간 과정과 달랐던 점은 비공식적 성격이었습니다. 참가자들은 정부 대표가 아니라 개인 자격으로 참석했습니다. 토론은 비공개로 진행됐습니다. 적대국 과학자들은 자국 정부가 공식적으로 승인하지 않은 입장과 아이디어를 탐색할 수 있었습니다. 이 비공식성은 냉전 시대에 공식 외교 무대에서는 불가능했던 솔직한 교류를 가능하게 했습니다.

퍼그워시는 조약을 만들지 않았다. 이후 공식 협상이 구체화한 지적 토대를 제공했다. 상호확증파괴 개념은 US 공식 정책이 되기 전에 퍼그워시 논의에서 정교화되었다. 부분핵실험금지조약(1963)과 핵확산금지조약(1968) 모두 퍼그워시 논의에서 발전한 아이디어를 활용했다. 이 단체는 군비 통제에 대한 기여를 인정받아 1995년 조지프 로트블랫과 공동으로 노벨 평화상을 수상했다.

AI 위험 패널이 다르게 해야 할 일

기후 과학에는 없는 여러 난제를 안고 있는 인공지능 위험에 관한 국제 패널은 IPCC를 모델로 삼을 것이다.

독점 지식 문제. 최전선 AI 시스템의 능력과 위험에 관한 대부분의 지식은 소수의 민간 기업이 보유하고 있다. 최전선 AI 안전에 관한 연구 문헌은 부분적으로 공개되지만, 내부 능력 평가 결과, 안전 시험 결과, 사고 보고서 등 가장 중요한 정보는 비공개다. IPCC는 공개된 동료 심사 연구를 종합한다. AI 위험 패널은 가장 관련성 높은 증거를 종합하기 위해 비공개 정보에 접근해야 하며, 이를 위해 최전선 AI 개발사가 정해진 비밀 유지 장치 아래 정보를 패널에 제공해야 한다. 이러한 장치를 설계하는 것은 IPCC에 전례가 없는 상당한 거버넌스 과제다.

속도 문제. IPCC는 5~7년마다 주요 평가 보고서를 생산하고 그 사이에 업데이트를 한다. 이 속도는 수십 년 단위로 변하는 물리적 현상에 적합하다. AI 능력은 수개월 단위로 발전한다. AI 위험 패널은 거버넌스 결정과 관련성을 유지하기 위해 훨씬 더 빈번한 평가를 생산하거나, 능력 발전을 거의 실시간으로 추적하는 상시 모니터링 기능을 구축해야 할 것이다. 더 빈번한 보고서는 그 과정이 의도적으로 느리기 때문에 IPCC의 정부 간 줄 단위 검토 과정을 통해 생산하기 더 어려울 것이다.

이중 용도 지식 문제. 기후 과학은 공개된 지식으로서 본질적인 안보 위험을 내포하지 않는다. AI 안전 연구는 때때로 위험한 능력이 어떻게 악용될 수 있는지를 정확히 이해하는 내용을 포함하며, 이는 평가의 권위를 높이는 투명성과 일부 결과를 제한해야 한다는 안보 우려 사이에 긴장을 만든다. AI 위험 패널은 IPCC가 지금까지 개발할 필요가 없었던 민감한 능력 발견을 다루는 절차를 마련해야 할 것이다.

그런 기구가 없다는 것이 이미 비용이 큰 이유

AI 위험 증거를 종합하는 권위 있는 국제 기구가 없다는 사실은 지금 당장 눈에 보이는 구체적인 거버넌스 비용을 초래합니다.

거버넌스 협상은 양립할 수 없는 사실 전제에서 출발한다. 각국 정부와 정부 내 각 파벌은 인공 초지능이 언제 재앙적 위험을 초래할 수 있는지, 그 위험의 성격이 무엇인지, 어떤 거버넌스 조치가 이를 해결할지에 대해 근본적으로 다른 평가를 내린다. 공유된 사실 기반이 없으면 이 협상들은 위험에 대한 가장 정확한 평가가 아니라 정치적으로 가장 편리한 관점에 맞춰 설계된 체제를 만들어내는 경향이 있다.

위험 소통은 파편화되어 있고 일관성이 없다. ASI 위험에 대한 경고는 학계 연구자, 인공지능 기업 내부 안전팀, 싱크탱크, 옹호 단체 등 다양한 출처에서 나오며, 공유된 방법론도 공통 어휘도 의견 차이를 조정하는 절차도 없다. 그 결과 여론은 신뢰할 수 있는 권위 있는 기준 없이 무시와 과도한 경고 사이를 오간다. IPCC이 기후 소통에서 지닌 가치는 언론인, 정책 결정자, 대중이 인용할 수 있는 단일한 권위 있는 출처를 제공해 무시와 과장 모두에 대응할 수 있게 한 점이었다.

"IPCC는 기후변화 문제를 다룰 정치적 의지를 만들지 못했습니다. 그것은 문제를 무시하는 것을 정치적으로 비용이 많이 들게 만든 공유된 사실 기반을 만들었습니다. ASI 거버넌스에도 같은 것이 필요합니다. 최전선 인공지능 위험에 대한 증거가 실제로 무엇을 보여주는지 확립할 권한과 방법론을 가진 기구가 필요합니다. 그래야 거버넌스 논의가 전략적으로 편리한 불확실성이 아니라 공유된 사실에서 출발할 수 있습니다."

IPCC가 AI에 제공하는 가장 중요한 선례는 방법론이 아니라 정치적이다. IPCC는 1988년 설립됐고, 첫 평가 보고서 2년 전, 여섯 번째 평가 주기 결과가 이미 광범위하고 빠르며 심화하는 영향을 낳는다고 평가되기 34년 전에 만들어졌다. 체계적 증거 종합을 위한 제도적 투자는 그 증거에 따라 행동할 정치적 의지가 생기기 훨씬 전에 시작됐다. AI 위험의 경우에도 효과적인 거버넌스 창구가 닫히기 전에, 닫힌 후가 아니라 제도적 동등체가 시작돼야 한다.

정부 간 회원으로 구성된 AI 위험 패널은, 공개된 연구와 적절한 비밀 유지 장치를 전제로 한 비공개 안전 연구를 종합하고, IPCC보다 빠른 보고 주기를 가지며, AI 안전 연구 공동체에서 독립된 기술 전문가를 확보할 수 있는 기구로서 기존 국제 기구 틀 안에서 만들 수 있다. 조약이 필요하지 않으며, 충분한 수의 정부가 정치적 의지를 가지고 설립·재정 지원하면 된다. 이는 구속력 있는 거버넌스 의무가 생기기 전에, 그리고 그 의무를 뒷받침하기 위해 만들 수 있는 기관이다. 이 기관이 평가할 기술이 조기 평가의 유효 기간을 앞당길지 여부는, 답할 수 있는 시간이 점점 줄어들고 있는 질문이다.

가장 강력한 반발

가장 공정한 반대는 또 다른 과학 패널이 연구소들이 출하하는 동안 수다만 떠는 장소가 된다는 것입니다. 공정한 위험입니다. IPCC 패턴은 공유된 사실을 법을 만드는 방에 강제로 집어넣을 때 유용합니다. 임계값과 집행으로 이어지는 경로가 없는 패널은 연극입니다. 평가를 촉발 장치와 결합하십시오.