이 글은 해당 분야가 왜 기아 상태인지 진단한다. 2부, 인공지능 안전이 연간 10억 달러에 이르는 방법 이 예산의 다섯 배에 도달할 수 있는 방법과 자금 출처를 설명합니다.
세상이 ASI가 잘되도록 얼마나 쓰는지 추측해 보라고 하면 대부분 수십억 달러 정도라고 답한다. 그것을 만드는 과학자들이 위험할 수 있다고 계속 경고하는데, 대응이 진지한 문제처럼 자금 지원을 받을 것이라고 생각한다. 그렇지 않다. 모든 자선 보조금, 모든 정부 안전 프로그램, 프런티어 연구소가 자체 안전 팀에 쓰는 돈을 모두 합해도 연간 약 1억 9천만 달러 정도다. AI 능력을 더 강력하게 만드는 데 쓰는 전 세계 투자는 이미 연간 2,500억 달러를 넘어섰다. AI를 더 강력하게 만드는 데 1,000달러를 쓸 때마다 안전하게 만드는 데는 1달러도 쓰지 않는다.
1억 9천만 달러라는 수치는 이 분야의 추정치가 실제로 복잡하기 때문에 면밀히 검토할 필요가 있다. 발표된 총액은 정부 연구소, 연구소 내부 팀, 학술 연구를 포함하는지에 따라 연간 약 1억 1천만 달러에서 2억 5천만 달러까지 다양하다. 다음은 공공 보조금 데이터베이스와 예산 공개 자료를 바탕으로 재단이 직접 작성한 회계다.
자금의 출처
| 출처 | 연간 추정 |
|---|---|
| Open Philanthropy굿 벤처스가 후원; 2014년 이후 인공지능 안전에 3억 3천 6백만 달러 이상, 최근 연간 약 4천 6백만~5천만 달러 | $50M |
| 최전선 연구소 안전 팀Anthropic, OpenAI, Google DeepMind에서의 내부 안전 연구, 추정치, 비공개 | $35M |
| Survival & Flourishing Fund주로 얀 탈린이 후원하며, 2024년 라운드만으로 1,900만 달러 이상을 배정했습니다 | $30M |
| UK 정부인공지능 보안 연구소와 ARIA의 5,900만 파운드 보호 인공지능 프로그램 | $30M |
| 기타 자선 활동 및 개인Longview Philanthropy, Long-Term Future Fund, 소규모 재단, 개인 기부자 | $25M |
| US, EU 및 기타 정부NIST의 CAISI, NSF 안전 프로그램, EU 인공지능 사무소 | $20M |
| 합계 | 약 1억9000만 달러 |
두 가지가 두드러집니다. 첫째, 이 분야는 다양하지 않습니다. 한 민간 재단이 전체의 4분의 1 이상, 자선 자금의 절반 이상을 공급합니다. 둘째, 정부 비중은 최근이고 취약하며 대부분 2023년부터이며, UK과 US 연구소 모두 설립 2년 만에 "안전"이라는 단어를 이름에서 뺐습니다.
돈이 가는 곳
어떤 자금 지원 기관도 목적별 지출 내역을 공개하지 않으므로, 우리가 직접 분류했다. 위에 나열한 각 출처의 알려진 보조금과 프로그램을 범주로 나누고, 기관 간 합계를 냈다. Open Philanthropy의 공개 보조금 데이터베이스에 따르면 2024년 기술 안전 보조금은 약 2천 8백만 달러이며, 그중 68퍼센트가 평가와 벤치마킹에 사용되었다. UK의 AI Security Institute는 위임 사항상 평가 기구이며, ARIA의 Safeguarded AI 프로그램은 기술 연구다. Survival and Flourishing Fund의 수혜자는 기술 작업(MIRI), 평가(METR, Apollo Research), 옹호(CAIS Action Fund)로 나뉜다. Longview의 AI 프로그램은 거버넌스 쪽에 치중한다. 연구소 내부 예산은 거의 전부 기술 분야다. 결과는 다음과 같다:
| 그것이 무엇을 지불하는가 | 연간 추정 | 공유 |
|---|---|---|
| 기술적 안전 연구정렬, 해석 가능성, 견고성, 연구실 팀, ARIA, NSF, 학계, 비영리 단체 | $80M | 42% |
| 모델 평가 및 성능 측정위험한 능력 테스트, UK AISI, METR, Apollo, Open Phil의 평가 보조금 | $50M | 26% |
| 거버넌스 및 정책 연구조약 설계, 안전 기준, 연산 거버넌스 | $30M | 16% |
| 분야 구축 및 인재연구원 장학 프로그램, 연구 훈련 과정, 경력 파이프라인 | $20M | 11% |
| 옹호 및 공공 참여캠페인, 공개 서한, 풀뿌리 조직화 | $10M | 5% |
범주 합계는 추정치 위에 세워진 추정치이며, 많은 보조금이 경계를 넘습니다. 평가 비영리 단체는 기술 작업을 하고, 거버넌스 연구소는 펠로십을 운영합니다. 그러나 형태는 합리적인 재분류에도 견고합니다. 기술 연구와 평가는 모든 것의 약 3분의 2를 흡수하고, 옹호(정부와 기업이 실제로 하는 일을 바꾸는 작업)는 20분의 1을 받습니다.
아바타: 물의 길 제작비는 전 세계가 일 년에 인공지능 안전에 쓰는 돈보다 많다. 단일 최전선 훈련 클러스터 하나가 분야 전체 예산 십 년치보다 비싸다. US 연방 정부는 분야 연간 총예산을 국방비로 대략 십 분마다 쓴다.
첫 번째 이유: 단일 지배적 자금 제공자
대부분의 자선 AI 안전 자금, 절반 이상이 단 한 곳에서 나옵니다. 바로 페이스북 공동 창업자 더스틴 모스코비츠와 카리 투나의 재단 굿 벤처스가 오픈 필랜트로피를 통해 기부하는 곳입니다. 이 집중은 취약성 이상의 결과를 낳습니다. 한 단체가 굿 벤처스가 지원하지 않는 영역에 속하면, 나머지 기부자 풀은 너무 얕아서 전직 그랜트메이커의 추정에 따르면 다른 모든 단체보다 1.5배에서 3배 높은 자금 조달 장벽에 직면합니다. 그리고 지배적 기부자가 우선순위를 바꾸면 전체 분야가 함께 흔들립니다. 오픈 필랜트로피의 기술 안전 그랜트 규모는 2022년 6천만 달러를 넘는 정점에서 2024년 등재된 그랜트 2천8백만 달러로 줄었고, 남은 대부분은 평가에 쓰였습니다. 그 차이를 메우러 나선 다른 기부자는 없었습니다. 건강한 분야라면 단일 기부자의 이사회 회의가 연구 의제를 바꿀 수 없습니다. 아직 이 분야는 건강하지 않습니다.
두 번째 이유: 지지 기반 없음
암 연구가 매년 수백억 달러를 모으는 이유는 모두가 누군가를 알기 때문입니다. 기후 자선이 연간 100억 달러를 넘은 이유는 피해가 눈에 보이고 운동이 50년이나 되었기 때문입니다. AI 위험에는 환자도, 침수된 마을도, 애도하는 가족도 없습니다. 경고하는 피해는 아직 일어나지 않았고, 분야가 성공한다면 결코 일어나지 않을 것입니다. 한 번도 현실화된 적 없는 위험을 예방하는 것은 가능한 가장 어려운 모금 제안에 가깝습니다. 이 주장을 가장 확신하는 사람들은 억만장자가 아니라 연구자이며, 여론조사에서 지속적으로 실제하고 커지고 있다고 나오는 일반 대중의 AI 우려에는 명확한 기부 창구가 없습니다.
세 번째 이유: 연구소들이 분야를 흡수했다
자격을 갖춘 정렬 연구자 상당수가 Anthropic, OpenAI, Google DeepMind에서 일하며, 비영리 단체가 따라갈 수 없는 보상을 받습니다. 이는 자금 상황을 두 번 왜곡합니다. 가장 눈에 띄는 안전 연구가 막대한 예산을 가진 기업 내부에서 이뤄지기 때문에 안전 분야가 실제보다 잘 지원되는 것처럼 보입니다. 또한 분야 연구 의제 상당 부분이 상업적 판단에 묶이게 됩니다. 연구소의 안전 지출은 실제이지만, 연구소가 선택한 지출이며, 연구소가 우선시하는 질문에 관한 것이고, 연구소 재량으로 발표되며, 우선순위가 바뀌면 취소될 수 있습니다. OpenAI가 2023년 공개적으로 컴퓨트의 20퍼센트를 이 문제에 투입하겠다고 약속한 지 1년 만인 2024년에 수퍼얼라인먼트 팀을 해체한 사례가 이를 보여줍니다. 독립 안전 연구는 연구소가 하지 않을 질문을 던지기 위해 존재하며, 독립성은 바로 자금이 대규모로 지원하지 않는 부분입니다.
네 번째 이유: 자금이 정치를 피한다
차트에서 가장 작은 부분(옹호를 위한 5퍼센트)이 가장 중요할 수 있습니다. US 자선법은 501(c)(3) 재단이 로비에 자금을 지원할 수 있는 한도를 제한하며, 대부분의 기관 자금 제공자는 법적 요구 사항을 훨씬 넘어 신중합니다. 그 결과, 이 분야는 연구와 평가를 생산하는 데 연간 1억 6천만 달러를 지출하고, 권력을 가진 사람들이 그에 따라 행동하도록 하는 데 약 1천만 달러를 지출합니다. 직접적인 정치 활동을 하는 조직(PauseAI, ControlAI, 미래생명연구소의 캠페인 부서)은 중간 규모의 의회 선거구 경선에서조차 당황스러울 정도의 예산으로 운영됩니다. 그들의 전술에 대해 어떻게 생각하든, 비대칭은 명확합니다. 가장 큰 기술 회사들은 각각 연방 로비에만 안전 분야 전체가 옹호에 지출하는 것보다 더 많은 돈을 씁니다.
이것을 바꿀 수 있는 것
이 분야의 산술은 소액도 움직인다는 의미다. 매년 500만 달러를 기부하는 새로운 기부자는 즉시 지구상에서 가장 큰 인공지능 안전 옹호 자금 제공자 중 하나가 될 것이다. 국방 예산의 0.1퍼센트를 안전 연구에 투입하는 정부는 전 세계 총액을 대략 두 배로 늘릴 것이다. 이는 흡수 능력이 아니라 단순히 수표를 쓰는 사람의 수가 병목인 드문 원인이다(자금 제공자들 스스로 기회가 보이는데도 커버할 수 없다고 공개적으로 말한다). 이를 바꾸려는 의도적인 추진이 어떤 모습일지(이 분야가 어떻게 연간 10억 달러에 도달할 수 있는지, 돈은 어디서 나오는지)는 제2부.
돈은 하나의 지렛대이고, 정책은 또 다른 지렛대이며 개인 재산을 요구하지 않습니다. 최전선 인공지능에 대한 구속력 있는 국제 규칙에 대한 주장은 우리의 계획, 그리고 그것에 당신의 무게를 더하는 가장 빠른 방법은 에서 5분이 걸립니다 조치를 취하다 페이지. 이 기사의 자금 데이터의 인터랙티브 버전은 우리의 자료 문서, 출처와 함께 제공하며 새로운 공개가 있을 때마다 두 가지 모두를 업데이트하겠습니다.
자금이 어디서 나오고 어디로 가는지, 그리고 그 규모가 왜 그렇게 작은지.