Tại sao lại có quá ít
Tiền vào An toàn AI?

Hỏi mọi người đoán thế giới chi bao nhiêu để đảm bảo ASI diễn ra tốt đẹp, và hầu hết ước tính ở mức hàng tỷ đô la. Các nhà khoa học xây dựng nó liên tục cảnh báo có thể nguy hiểm; chắc chắn phản ứng được tài trợ như một vấn đề nghiêm túc. Nhưng không phải vậy. Cộng tất cả các khoản tài trợ từ thiện, mọi chương trình an toàn của chính phủ, và mọi đô la mà các phòng thí nghiệm tiên phong chi cho đội an toàn của chính họ, tổng cộng chỉ khoảng 190 triệu đô la mỗi năm. Đầu tư toàn cầu vào năng lực trí tuệ nhân tạo đã vượt 250 tỷ đô la mỗi năm từ lâu. Cứ mỗi nghìn đô la chi để làm trí tuệ nhân tạo mạnh mẽ hơn, chưa đến một đô la được chi để làm nó an toàn.

Con số 190 triệu đô la đáng được xem xét kỹ, vì các ước tính trong lĩnh vực này thực sự lộn xộn. Tổng số công bố dao động từ khoảng 110 triệu đến 250 triệu đô la mỗi năm tùy thuộc vào việc bạn tính viện nghiên cứu chính phủ, đội ngũ nội bộ phòng lab và công việc học thuật. Những gì sau đây là cách tính toán của chúng tôi, được xây dựng từ cơ sở dữ liệu tài trợ công khai và công bố ngân sách, từng nhà tài trợ một.

Tiền đến từ đâu

Hai điều nổi bật. Thứ nhất, đây không phải một lĩnh vực đa dạng hóa. Một quỹ tư nhân cung cấp hơn một phần tư tổng số tiền, và hơn một nửa tổng tiền từ thiện. Thứ hai, phần của chính phủ còn mới và mong manh, hầu hết bắt đầu từ 2023, và cả UK lẫn US đều bỏ từ "safety" khỏi tên gọi trong vòng hai năm sau khi thành lập.

Tiền đi đâu

Không có nhà tài trợ nào công bố phân tích chi tiêu theo mục đích, vì vậy chúng tôi tự phân loại các khoản tài trợ: lấy từng nguồn trên, sắp xếp các khoản tài trợ và chương trình đã biết của nó vào các hạng mục, rồi cộng tổng số từ các nhà tài trợ. Cơ sở dữ liệu tài trợ công khai của Open Philanthropy cho thấy khoảng 28 triệu đô la tài trợ an toàn kỹ thuật cho năm 2024, trong đó 68 phần trăm dành cho đánh giá và benchmarking. Viện An ninh AI của UK theo ủy quyền là một cơ quan đánh giá, trong khi chương trình Safeguarded AI của ARIA là nghiên cứu kỹ thuật. Các người nhận tài trợ của Quỹ Survival and Flourishing trải dài từ công việc kỹ thuật (MIRI), đánh giá (METR, Apollo Research) đến vận động (Quỹ Hành động CAIS). Chương trình AI của Longview nghiêng về quản trị. Ngân sách nội bộ của các phòng thí nghiệm hầu như hoàn toàn là kỹ thuật. Kết quả:

Tổng số theo hạng mục là ước tính xây trên ước tính, và nhiều khoản tài trợ nằm giữa các đường phân loại, một tổ chức phi lợi nhuận đánh giá làm công việc kỹ thuật; một viện quản trị tổ chức học bổng. Nhưng hình dạng này bền vững trước mọi phân loại lại hợp lý: nghiên cứu kỹ thuật và đánh giá chiếm khoảng hai phần ba tổng số, còn vận động (công việc thực sự thay đổi hành động của chính phủ và công ty) chỉ nhận một phần hai mươi.

Lý do một: một nhà tài trợ thống trị duy nhất

Hầu hết tiền từ thiện cho an toàn AI, hơn một nửa, đến từ một nguồn: Good Ventures, quỹ của đồng sáng lập Facebook Dustin Moskovitz và Cari Tuna, tài trợ thông qua Open Philanthropy. Sự tập trung đó có hậu quả vượt ra ngoài sự mong manh. Khi một tổ chức nằm ngoài những gì Good Ventures sẵn sàng tài trợ, phần còn lại của nhóm nhà tài trợ nông đến mức, theo một ước tính từ một cựu người cấp vốn trong lĩnh vực này, nó phải đối mặt với ngưỡng tài trợ cao gấp 1,5 đến 3 lần so với mọi người khác. Và khi nhà tài trợ thống trị thay đổi ưu tiên, toàn bộ lĩnh vực thay đổi theo: hoạt động cấp vốn an toàn kỹ thuật của Open Philanthropy giảm từ mức đỉnh năm 2022 hơn 60 triệu đô la xuống còn 28 triệu đô la trong các khoản cấp vốn niêm yết năm 2024, với phần lớn những gì còn lại dành cho đánh giá. Không có nhà tài trợ nào khác bước vào để lấp đầy khoảng cách. Trong một lĩnh vực lành mạnh, không có cuộc họp hội đồng của một nhà tài trợ duy nhất nào có thể định hình lại chương trình nghiên cứu. Đây chưa phải là một lĩnh vực lành mạnh.

Lý do hai: không có cử tri

Nghiên cứu ung thư huy động hàng chục tỷ đô la mỗi năm vì ai cũng biết một ai đó. Từ thiện khí hậu vượt 10 tỷ đô la mỗi năm vì thiệt hại có thể nhìn thấy và phong trào đã năm mươi năm tuổi. Rủi ro AI không có bệnh nhân, không có thị trấn ngập lụt, không có gia đình đau buồn, thiệt hại mà nó cảnh báo chưa từng xảy ra, và nếu lĩnh vực thành công thì sẽ không bao giờ xảy ra. Ngăn ngừa một rủi ro chưa từng hiện hữu gần như là cách gây quỹ khó nhất. Những người bị thuyết phục nhất bởi lập luận thường là nhà nghiên cứu, không phải tỷ phú, và mối quan tâm của công chúng về AI (mà các cuộc thăm dò liên tục cho thấy là có thật và đang tăng) không có hộp quyên góp rõ ràng nào gắn liền.

Lý do thứ ba: các phòng thí nghiệm đã hấp thụ lĩnh vực

Một phần lớn những người đủ điều kiện để thực hiện nghiên cứu liên kết làm việc tại Anthropic, OpenAI, hoặc Google DeepMind, với mức thù lao mà không tổ chức phi lợi nhuận nào có thể tiếp cận. Điều này làm méo mó bức tranh tài trợ hai lần. Nó làm cho an toàn trông được tài trợ tốt hơn thực tế, vì công việc an toàn dễ thấy nhất diễn ra bên trong các công ty có ngân sách khổng lồ. Và nó buộc phần lớn chương trình nghiên cứu của lĩnh vực này vào phán đoán thương mại: chi tiêu an toàn của một phòng thí nghiệm là có thật, nhưng đó là chi tiêu mà phòng thí nghiệm chọn, cho các câu hỏi mà phòng thí nghiệm ưu tiên, có thể công bố theo quyết định của phòng thí nghiệm, và có thể hủy bỏ khi ưu tiên thay đổi, như OpenAI đã chứng minh khi giải thể đội Superalignment của mình năm 2024, một năm sau khi công khai cam kết 20 phần trăm sức mạnh tính toán cho vấn đề. Nghiên cứu an toàn độc lập tồn tại chính xác để đặt ra những câu hỏi mà các phòng thí nghiệm sẽ không đặt, và sự độc lập chính xác là điều mà tiền không tài trợ ở quy mô lớn.

Lý do thứ tư: tiền tránh chính trị

Phần nhỏ nhất của biểu đồ (5% cho vận động chính sách) có thể là phần quan trọng nhất. Luật từ thiện US giới hạn số tiền vận động hành lang mà một quỹ 501(c)(3) có thể tài trợ, và hầu hết các nhà tài trợ tổ chức đều thận trọng vượt xa yêu cầu pháp lý, lo ngại chính trị hóa hoạt động tài trợ rộng hơn của họ. Kết quả là một lĩnh vực chi 160 triệu đô la mỗi năm để tạo ra nghiên cứu và đánh giá, nhưng chỉ khoảng 10 triệu đô la để đảm bảo những người nắm quyền hành động theo chúng. Các tổ chức làm công việc chính trị trực tiếp (PauseAI, ControlAI, cánh vận động của Viện Tương lai Cuộc sống) hoạt động với ngân sách khiến một cuộc đua nghị sĩ quy mô trung bình phải xấu hổ. Dù nghĩ gì về chiến thuật của họ, sự bất cân xứng là rõ rệt: mỗi công ty công nghệ lớn chi cho vận động hành lang liên bang nhiều hơn toàn bộ lĩnh vực an toàn chi cho vận động chính sách.

Điều gì sẽ thay đổi điều này

Số học của lĩnh vực này có nghĩa là những khoản tiền nhỏ có thể thay đổi nó. Một nhà tài trợ mới đóng góp 5 triệu đô la mỗi năm sẽ ngay lập tức xếp vào hàng những nhà tài trợ lớn nhất cho vận động an toàn AI trên Trái Đất. Một chính phủ cam kết một phần mười phần trăm ngân sách quốc phòng cho nghiên cứu an toàn sẽ gần như nhân đôi tổng số toàn cầu. Đây là nguyên nhân hiếm hoi mà nút thắt cổ chai không phải là khả năng hấp thụ (chính các nhà tài trợ công khai nói rằng họ không thể bao quát các cơ hội họ nhìn thấy) mà đơn giản là số người viết séc. Một nỗ lực có chủ đích để thay đổi điều đó trông như thế nào (làm thế nào lĩnh vực có thể đạt được một tỷ đô la mỗi năm, và tiền đến từ đâu) là chủ đề của Phần 2.

Tiền là một đòn bẩy; chính sách là đòn bẩy kia, và nó không đòi hỏi tài sản cá nhân. Lập luận cho các quy tắc quốc tế ràng buộc về AI tiên phong được trình bày trong kế hoạch của chúng tôi, và cách nhanh nhất để thêm trọng lượng của bạn vào đó chỉ mất năm phút trên hành động trang. Phiên bản tương tác của dữ liệu tài trợ trong bài viết này nằm trên trang tài nguyên, kèm nguồn, và chúng tôi sẽ cập nhật cả hai khi có tiết lộ mới.

Đây là nơi tiền đến từ đâu, đi đến đâu, và tại sao con số vẫn nhỏ đến vậy.