자문 기구는 정부·산업계·학계·시민사회 전문가들을 모든 지역에서 모아 구성됐다. 이는 서구 클럽이나 단일 정부가 줄 수 없는 정당성을 세계 거버넌스 제안에 부여하기 위해서였다. UN의 2024 미래 정상회의 전에 제출된 최종 보고서는 거버넌스 공백을 진단하고 이를 메울 기능과 기구를 제안했다. 한계가 있더라도, 이 보고서는 공식적이고 보편적인 논의 출발점으로서 가장 가까운 자료다.

2024년 보고서 '인류를 위한 AI 거버넌스'는 보편적 구조를 그려내려 한 가장 권위 있는 시도이며, 주류 논의가 여전히 최전선 위험과 얼마나 멀리 떨어져 있는지를 드러내는 연구이기도 하다.

보고서가 추천한 것

보고서는 단일 강력한 기구를 제안하는 대신, 정치적으로 실현 가능한 경량 기능의 다층 집합을 권고했다. 주요 권고에는 공유되고 정책 관련 이해를 구축하기 위한 국제 인공지능 과학 패널, 정부 간 정기 정책 대화, 상호 운용 가능한 기준 개발을 돕는 교환 기구, 글로벌 사우스가 참여하도록 돕는 역량 개발 네트워크, 그리고 이들을 연결하는 유럽연합 사무국 내 소규모 조정 사무소가 포함되었다. 또한 글로벌 기금과 데이터 거버넌스 체제도 제안했다.

겸손함 뒤의 논리

보고서의 신중함은 의도적이며 이해할 가치가 있다. 국가들이 얼마나 분열돼 있는지를 고려할 때, 달성 가능한 첫 단계는 구속력 있는 규제 기구가 아니라, 이후 더 강력한 거버넌스가 구축될 수 있는 연결 인프라(공유 과학, 대화, 표준)라는 판단을 반영한다. 특히 과학 패널은 오존과 기후 경험을 참고한 것으로, 권위 있는 공동 평가(IPCC가 모델)가 합의를 가능하게 한 공통 사실 기반을 만들었다. 이 해석에서 보고서는 토대를 놓는 것이지, 벽을 세우는 것이 아니다.

  • 과학 패널 세계에 AI 역량과 위험에 대한 공유되고 신뢰할 수 있는 그림을 제공하여, 모든 거버넌스가 의존하는 사실적 기반을 마련합니다.
  • 정책 대화 정부 간 대화를 유지하고 경쟁적인 지역 접근법의 분열을 막기 위해.
  • 표준 교환 호환되지 않는 국가 규칙의 패치워크가 아니라 상호 운용성을 위해 노력하는 것.
  • 역량 구축 글로벌 사우스를 거버넌스에 참여자로 끌어들이는 것, 사후 고려가 아닌, 이는 정당성을 위한 전제 조건입니다.

재앙적 위험의 간극

보고서는 권위에도 불구하고 안전 관점에서 명백한 한계가 있다. ASI 거버넌스를 주로 편향, 허위정보, 불평등, 노동 혼란 등 광범위한 사회적 피해를 관리하는 문제로 다루고, 초지능 시스템에 대한 통제 상실이라는 구체적 위험에는 비교적 적은 비중을 둔다. 제안된 적색선도, 컴퓨트 임계값도, 검증 체계도, 금지 조치도 없다. 보고서가 권고하는 수단은 제약이 아니라 조율과 이해를 위한 것이다.

이 격차가 중요한 이유는 보고서가 제안하는 연결 인프라가 가치 있기는 하지만 최전선 안전이 가장 필요로 하는 한 가지, 즉 통제할 수 없을 정도로 위험한 시스템의 개발을 방지하도록 설계되지 않았기 때문입니다. 과학 패널과 정책 대화는 구속력 있는 합의를 가능하게 하는 공유 이해를 구축할 수 있지만 이를 대체할 수는 없습니다. UN 프로세스는 필요한 기초 작업이며 그 자체로는 불충분하며 이는 현재 거버넌스 환경의 많은 부분에 해당하는 설명입니다.

UN의 청사진은 모두가 앉을 수 있는 테이블을 만듭니다. 그것은 분명 가치가 있습니다. 그러나 테이블은 합의가 아닙니다. 가장 어려운 질문(아무도 통제할 수 없는 시스템의 개발을 어떻게 막을 것인가)은 주류 과정이 아직 테이블 위에 올리지 못한 질문입니다.

여전히 중요한 이유

자문 기구의 작업이 중요한 것은 바로 그 정당성과 도달 범위 때문입니다. 이는 국제 시스템의 최고 수준에서 ASI 거버넌스가 글로벌 기구를 요구하는 글로벌 관심사임을 확립하며, 시간이 지남에 따라 구속력 있는 조약이 요구하는 공통 이해를 구축할 수 있는 공유 과학 및 대화 메커니즘을 제안합니다. 현실적인 경로는 UN 프레임워크를 포괄적 기반으로 삼아 더 엄격하고 안전 중심의 거버넌스를 계층화하는 것입니다. 즉, 제안된 과학 패널과 정책 대화를 활용해 현재 과소평가되는 재앙적 위험과 구속력 있는 협정만이 제공할 수 있는 레드라인 및 검증 쪽으로 주류 대화를 이끄는 것입니다. UN은 포럼을 만들었습니다. 과제는 그 안에서 일어나는 일의 야심을 높이는 것입니다.