인공지능 안전이 어떻게 도달하는지
연간 10억 달러

실제 상황부터 시작하라. 제1부 모든 자선 기부, 모든 정부 안전 프로그램, 프런티어 연구소가 자체 안전 팀에 쓰는 돈을 모두 합산해 연간 약 1억 9천만 달러라는 총액을 도출했습니다. 그에 비해 세계는 AI를 더 강력하게 만드는 데 매년 2,500억 달러 이상을 투입하고 있으며, 그 수치는 계속 증가합니다. 이 시스템을 더 강력하게 만드는 데 1,000달러를 쓸 때마다 안전을 위해 쓰는 돈은 1달러도 되지 않습니다.

연간 10억 달러는 그 산술을 바꾸기 시작할 것이며, 생각보다 작은 금액입니다. 이는 업계가 이미 능력에 지출하는 금액의 이틀치도 되지 않습니다. 미국이 국방에 지출하는 금액의 약 0.1퍼센트입니다. 기후 자선 분야가 매년 움직이는 금액의 10분의 1이며, 기후 자선은 관대하게 자금이 지원된다고 여겨지지 않습니다. 10억 달러가 무엇이든, 기술을 만드는 사람들이 서면으로 그리고 자신의 이름으로 팬데믹과 핵전쟁에 비유한 문제에 비하면 큰 금액이 아닙니다.

따라서 이 분야가 자금 부족인 이유는 10억 달러를 찾기 어렵기 때문이 아닙니다. 세계는 이미 같은 사무실 건물 반대편 몇 피트 떨어진 곳에서 그보다 몇 배나 더 많은 돈을 쓰고 있습니다. 돈은 있습니다. 부족한 것은 그 일부를 옮기기로 하는 결정입니다.

이미 자금은 존재합니다. 세계는 인공지능을 더 강력하게 만드는 데 이 정도 금액을 하루 반마다 지출합니다. 부족한 것은 그 일부를 반대 방향으로 돌리려는 의지입니다.

10억은 최저선이다

10억 달러이고 3억 달러가 아닌 이유는, 그 선 아래에서는 한 번에 한 가지만 할 수밖에 없기 때문이다. 1억 9천만 달러 수준에서는 잔인한 우선순위 선정이 강요된다. 기술 연구와 모델 평가는 전체의 약 3분의 2를 차지하고, 옹호 활동(연구 결과에 따라 정부와 기업이 행동하게 만드는 일)은 연간 약 5퍼센트, 1천만 달러 정도에 그쳐 대형 기술 기업 하나가 한 나라 수도에서 로비하는 비용보다 적다. 10억 달러는 이 우선순위 선정을 끝낼 수 있다. 연구소가 현재 흡수하는 인재를 안전 분야가 경쟁력 있게 채용할 수 있게 하고, 단일 재단에 의존하는 분야를 다각화하며, 결과를 단순히 기록하는 데 그치지 않고 결과를 바꾸는 정치 활동에 자금을 댈 수 있게 한다.

매년 10억 달러는 적합한 역사적 사례와 비교해도 소박한 규모다. 인간 게놈 프로젝트는 약 30억 달러가 들었고 미국이 ever한 최고의 공공 투자 중 하나로 기억된다. 개발자들 스스로 핵전쟁에 비견하는 위험에 비춰 볼 때, 매년 10억 달러는 결코 후한 금액이 아니다. 그 금액을 감당할 수 있는지 논쟁하는 것 자체가 이상한 일이다.

그 10억 달러가 실제로 어디서 오는가

이 중 어떤 것도 새로운 발명이나 특별한 관대함을 요구하지 않습니다. 네 가지 평범한 원천이 동시에 작동하기만 하면 됩니다. 그중 두 가지만 진지하게 해도 목표를 달성할 수 있습니다.

출처	연간 그럴듯함
다각화된 자선 활동현재 한 재단이 모든 자선 안전 자금의 절반 이상을 공급합니다. 반면 기후 자선은 여러 기부자를 통해 연간 100억 달러 이상 움직입니다. 200억 달러 규모의 단일 기금만으로도 이자 수익으로 연간 10억 달러가 발생합니다. 기후 총액의 10분의 1에 도달하려면 아마도 5~10명의 진지한 기부자가 필요할 것입니다.	$300M
정부 안전 예산국가 안전 연구소는 이미 UK, US 및 기타 지역에 존재합니다. US은 국립보건원에 연간 약 470억 달러를 지출합니다. 그 1퍼센트 규모의 전용 인공지능 안전 노력만으로도 거의 5억 달러에 이릅니다.	$300M
컴퓨트에 대한 산업 부담금제약사들은 사용자 수수료를 통해 FDA의 의약품 심사 비용의 약 사분의 삼을 부담하고, 원자력 산업은 규제 기관 비용의 거의 전부를 부담합니다. 이미 연간 2천 5백억 달러를 넘어선 최전선 인공지능의 연산 및 인프라 비용 중 0.4퍼센트만으로도 10억 달러 전체를 충당할 수 있습니다.	$300M+
전용된 자선 자본기부자 조언 기금은 이미 자선에 약속됐으나 아직 지출되지 않은 2천억 달러를 훨씬 넘는 규모를 보유하고 있습니다. 대학 기부금과 성장하는 효과적 기부 인프라가 여기에 더해집니다. 여기서 요구하는 것은 새로운 부가 아니라 재배분입니다.	$100M
합계	~$1B+

세 번째 행이 가장 중요하다. 누구의 선의에도 의존하지 않는 유일한 재원이기 때문이다. 자선 기부는 기부자가 마음을 바꾸면 사라질 수 있으며, 분야는 지배적 기부자가 기술 안전 보조금을 2년 만에 절반 이상 삭감한 사례에서 이를 배웠다. 정부 예산은 선거와 함께 바뀐다. 위험을 만드는 산업에 법정 부담금을 부과하는 방식은 지속 가능하고 비례적이며 전례가 있다. 이미 의약품, 항공, 원자력을 감독하는 감시 기구의 재원을 마련하는 방식이다. 위험을 만드는 연산에 안전 자금의 일부를 연동하는 것은 안전 규제의 논리를 자연스럽게 확장한 것이다 연산 거버넌스.

위험이 명확해지면 돈은 빠르게 움직인다

역사는 이에 대해 명확합니다. 위험이 대중과 정부에 명확해지면 자금은 현재의 미미한 흐름이 선택이지 제약이 아님을 드러낼 속도로 나타납니다. 오존층을 파괴하는 화학물질은 Montreal Protocol, 그 기금은 이후 가난한 나라에서 전환이 가능하도록 수십억 달러를 투입했다. 코로나19가 닥쳤을 때 세계는 수개월 만에 수백억 달러 규모의 백신 개발을 시작했다. 천연두, 오존, 소아마비: 모든 경우에 제약은 돈이 아니었다. 인식이 문제였다.

인공지능 안전은 아직 인정을 받는 순간을 맞이하지 못했으며, 그 이유는 재정적이기보다는 구조적입니다. 경고하는 피해가 아직 발생하지 않았습니다. 환자도, 물에 잠긴 마을도, 얼굴을 드러낼 유가족도 없으며, 작업이 성공한다면 그런 일은 결코 없을 것입니다. 지지 세력이 없는 위험에는 예산을 집행하는 사람들에게 압력을 가할 이가 없습니다. 더 나은 스프레드시트로는 이를 해결할 수 없습니다.

이것은 동원 문제다

즉, 십억 달러로 가는 길은 본질적으로 모금 계획이 아니다. 위험을 충분히 명확하게 만들고, 그 위험을 진지하게 다루는 일을 충분히 명예롭게 만들어 돈이 언제나 그래왔듯이 따라오게 하는 계획이다. 그 작업은 세 가지 방향으로 진행된다.

보이게 하세요. 사람이 그림으로 그릴 수 있는 위협이 사람들이 자금을 대는 위협이다. 저널리즘, 영화, 데이터, 공적 논쟁이 추상적 확률을 입법자나 기부자가 느낄 수 있는 것으로 바꾸는 작업이며, 기후와 핵 군비 통제에 앞서 마련된 문화적 토대와 같다.

권위 있게 만들어라. 노벨상 수상자, 전직 국가 수반, 신뢰받는 공인들이 어떤 사안을 심각하게 다루면 규범과 자금이 그 뒤를 따릅니다. AI 위험에 대한 과학적 합의는 이미 존재합니다. 부족했던 것은 재력과 지위를 가진 사람들이 공개적으로 행동할 사회적 허용이었습니다.

의무화하라. 자발적 기부는 강하게 밀어붙여도 연간 3~4억 달러 수준에 머물 가능성이 크다. 10억 달러 전체(더 중요한 것은 단일 기부자의 마음 변화 이후에도 유지되는 것)로 가는 길은 법이다. 부담금, 예산 항목, 조약 의무. 재단이 활동을 구속력 있는 규칙 설득뿐만이 아닙니다. 관대함은 환영하지만, 그것은 기반으로 삼을 수 있는 것이 아닙니다.

따라서 연간 10억 달러가 이 문제를 진지하게 다루는 야심 찬 버전이라는 생각은 접어두자. 그것은 최소한의 버전이다. 이미 문제를 더 어렵게 만드는 데 쓰는 돈의 이틀치도 안 되며, 3천 년 동안 사람을 죽여 온 질병을 세계에서 없애는 데 한 번 들었던 비용의 작은 일부다. 그 액수는 부담스럽지 않다. 진정으로 부족한 것은 이 정도 규모의 위험을 우리가 스스로 경고한 대로 다루겠다는 결정이다.

그 결정은 공공의 압력 속에서, 정부가 답해야 하는 사람들에게서 듣는 내용 속에서, 그리고 우리 중 충분한 수가 이것을 과학이 말하는 우선순위로 대하는지 여부 속에서 이루어진다. 돈을 지속 가능하게 만드는 규칙에 대한 주장은 우리의 계획, 그리고 그것에 당신의 무게를 더하는 가장 빠른 방법은 에서 5분이 걸립니다 조치를 취하다 페이지.

그러나 그 숫자를 이미 세계가 이 기술을 만드는 데 쓰는 돈이나, 인류가 진지하게 받아들인 위험에 대해 써온 돈과 견주어 보십시오. 그러면 10억은 야심 차 보이지 않기 시작합니다. 우리가 할 수 있는 최소한으로 보이기 시작하며, 충분히 손이 닿는 범위입니다.