Hiệp ước An toàn AI & Kế hoạch Chính sách Quản trị, Thay đổi đến từ luật pháp,
không phải từ các phòng thí nghiệm.

Cộng đồng kỹ thuật đã dành một thập kỷ cảnh báo. Những cảnh báo không làm chậm các phòng thí nghiệm. Thiếu hụt hiện nay là ý chí chính trị, khuôn khổ pháp lý và một liên minh đủ mạnh để dừng cuộc chạy đua đến những hệ thống không ai kiểm soát nổi.

Tại sao chúng ta tồn tại.

Nakada Foundation to Save Humanity được thành lập dựa trên một tiền đề duy nhất: những quyết định quan trọng nhất trong lịch sử nhân loại, những quyết định sẽ quyết định liệu loài chúng ta có sống sót hay không, không nên do một nhóm kỹ sư tại năm tập đoàn ở một quốc gia đưa ra.

Chúng tôi không liên kết với giới nghiên cứu an toàn AI, vốn chủ yếu được tài trợ bởi chính các phòng thí nghiệm đang chạy đua xây dựng các hệ thống mà nó nghiên cứu. Chúng tôi tin rằng cấu trúc động lực của lĩnh vực an toàn AI bị xâm phạm về cơ bản, và giải pháp sẽ không đến từ bên trong ngành.

Hầu hết tiền bạc và uy tín vẫn dành cho việc làm cho cuộc đua an toàn hơn, thay vì chấm dứt cuộc đua hướng tới ASI. Công việc của chúng tôi là nhiệm vụ kia: dừng ASI theo luật ràng buộc. Siêu trí tuệ không thể kiểm soát được.

AI hẹp đang thay đổi và mang lại lợi ích. Nó có thể chữa bệnh, đẩy nhanh khám phá và mở rộng tiềm năng con người. Chúng tôi không phản đối AI. Chúng tôi phản đối việc xây dựng một dạng trí tuệ mà chúng ta không kiểm soát, không căn chỉnh và không dừng lại được.

Thay đổi đòi hỏi áp lực bên ngoài: từ chính phủ, từ luật pháp, từ văn hóa, và từ những người hiểu rõ điều đang bị đe dọa không phải là kết quả thị trường mà là sự sống còn của loài người.

Chúng ta đã có một mô hình cho điều này Hiệp ước Không Phổ biến Vũ khí Hạt nhân.

Không phải phòng thí nghiệm nghiên cứu

Khác với các tổ chức nghiên cứu an toàn AI, chúng tôi không xây dựng, huấn luyện hay thí nghiệm trên hệ thống AI. Chúng tôi không nhận tài trợ có thể tạo xung đột giữa sứ mệnh và thông điệp của mình.

Không phải cơ quan đạo đức

Không giống các tổ chức đạo đức AI, chúng tôi chỉ tập trung vào rủi ro tồn vong: không phải thiên kiến, công bằng hay lạm dụng AI hiện tại. Những vấn đề này quan trọng. Chúng không phải vấn đề tuyệt chủng.

Một chiến dịch

Chúng tôi hoạt động như một chiến dịch giáo dục công cộng mang tính từ thiện, không phải viện nghiên cứu học thuật. Chúng tôi tìm cách thay đổi nhận thức công chúng, xây dựng liên minh và khiến việc ngăn chặn superintelligence có ràng buộc trở nên khả thi, giống mọi phong trào lợi ích công thành công trong lịch sử.

Phòng ngừa, không phải tạm dừng tạm thời.

Mọi người thường xếp chúng tôi vào nhóm "tạm dừng": vài năm thở phào để các phòng lab có thể làm siêu trí tuệ an toàn rồi tiếp tục. Đó không phải là yêu cầu. Chúng tôi muốn chính phủ ngăn chặn trí tuệ siêu nhân tạo nhân tạo vĩnh viễn. Siêu trí tuệ không thể bị con người kiểm soát.

Sự khác biệt này rất quan trọng. Tạm dừng giả định một vấn đề về lịch trình: chậm lại, để an toàn bắt kịp, rồi tiếp tục. Không ai có cách đã được xác thực để kiểm soát một hệ thống có khả năng hơn cả người tạo ra nó. Không ở quy mô nhỏ. Không ở quy mô lớn. Không có một phương pháp nào đã được chứng minh. Chính những người đang chạy đua xây dựng nó đã nói công khai như vậy.

Nếu điều đó vẫn đúng, thì việc xây dựng siêu trí tuệ bằng bất kỳ phương pháp nào gần giống ngày nay sẽ không tạo ra một công nghệ rủi ro cần quản lý cẩn thận. Nó tạo ra một kết cục không thể phục hồi. Đây là lập luận được trình bày thẳng thắn nhất trong cuốn sách năm 2025 Nếu Ai Đó Xây Dựng Nó, Mọi Người Đều Chết, của Eliezer Yudkowsky và Nate Soares. Bạn không cần đồng ý mọi lập luận trong sách để thấy sự bất cân xứng: chúng ta chỉ có đúng một lần thử, và không ai có thể chỉ cho bạn cách làm đúng.

Vậy hiệp ước mà chúng tôi ủng hộ là không phải là cách để làm cho sự phát triển siêu trí tuệ an toàn. Không có cách nào đã biết để làm điều đó. Hiệp ước là lối thoát khỏi cuộc chạy đua: một quyết định vĩnh viễn không chấp nhận canh bạc. Siêu trí tuệ không thể bị con người kiểm soát.

Đây là lý do chúng ta chia tay với phần lớn lĩnh vực an toàn AI. Rất nhiều "safety" công việc âm thầm giả định rằng các hệ thống sẽ được xây dựng và chỉ cố gắng giảm xác suất chúng giết chúng ta. Chúng tôi nghĩ rằng điều đó đảo ngược vấn đề. Khi bạn không thể kiểm soát mặt tiêu cực, và nhược điểm là mọi người, hành động có trách nhiệm là ngừng xây dựng thứ nguy hiểm đó. Siêu trí tuệ không thể kiểm soát được, nên câu trả lời không phải là xây dựng cẩn thận hơn. AI hẹp (loại chữa bệnh và thúc đẩy khám phá) tiếp tục. Chính lớp hệ thống hẹp có khả năng vượt qua trí tuệ con người trên mọi lĩnh vực là thứ không được xây dựng.

Cách chúng tôi vận hành.

01

Giáo dục công chúng

Xây dựng lập luận cho các khuôn khổ ràng buộc cấm hệ thống AI siêu thông minh, thay vì các hướng dẫn tự nguyện. Công việc là các bài giải thích bằng ngôn ngữ đơn giản, sự hiện diện xã hội và phương tiện sáng tạo giúp công chúng có chung vốn từ vựng để phòng ngừa.

Các lập luận tập trung vào ba điểm nghẽn mà chính phủ có thể tận dụng: hạ tầng tính toán, nơi một số ít nhà sản xuất chip kiểm soát phần cứng cần thiết để huấn luyện mô hình tiên phong; phòng thí nghiệm trí tuệ nhân tạo tiên phong, nơi động lực thương mại lấn át cam kết an toàn; và các tổ chức quốc tế, nơi khuôn khổ hiệp ước phải được xây dựng trước khi cuộc chạy đua năng lực trở nên không thể đảo ngược. Chúng tôi không vận hành văn phòng vận động hành lang trực tiếp tại Washington hay các thủ đô khác.

02

Xây dựng Liên minh

Thu hút các quỹ từ thiện lớn nhất thế giới, nguyên thủ quốc gia, người đoạt giải Nobel, người nổi tiếng và các nhân vật văn hóa để khuếch đại thông điệp, tài trợ cho sự nghiệp và dịch chuyển cửa sổ Overton.

Lịch sử vận động hiệu quả chính là lịch sử của những liên minh khó ngờ. Phong trào dân quyền đã kết nối các giáo sĩ, công đoàn và luật sư. Phong trào giải trừ vũ khí hạt nhân đã quy tụ nhà vật lý và nhà thơ. Chúng ta đang xây dựng liên minh khiến an toàn AI trở thành vấn đề chính trị then chốt của thập niên này.

03

Văn hóa & Nhận thức

Ủy thác nghệ thuật, phim ảnh, báo chí và truyền thông khiến mối nguy trở nên trực quan và không thể chối cãi. Phong trào khí hậu đã thất bại suốt nhiều thập kỷ một phần vì mối đe dọa còn trừu tượng và xa vời. Rủi ro AI không phải vậy, nhưng nó cần được làm cho người ta cảm nhận ngay lập tức.

An toàn phải trở nên danh giá, cấp thiết và không thể bị bỏ qua. Chúng tôi đang hợp tác với các nhà làm phim, tiểu thuyết gia, nhà thiết kế game và nhà báo để xây dựng hạ tầng văn hóa cho một phong trào bền vững, bao gồm cả lập luận kinh tế trong Tại sao một Nhà tư bản Tin vào Quy định ASI.

Ba yêu cầu cụ thể.

Đây là những bước đi cụ thể mà chính phủ có thể thực hiện với các công cụ đã tồn tại. Mỗi cái có một tiền lệ với tên và năm.

Infographic: Bản đồ tàu điện ngầm Kế hoạch của chúng tôi từ cuộc đua hôm nay đến hiệp ước ràng buộc và xác minh Infographic: Bản đồ tàu điện ngầm Kế hoạch của chúng tôi từ cuộc đua hôm nay đến hiệp ước ràng buộc và xác minh
Từ cuộc đua đến một hiệp ước ràng buộc.
01

Quản trị Compute

Yêu cầu giấy phép chính phủ cho các lần huấn luyện vượt ngưỡng tính toán đã định (hiện đang được đề xuất ở mức 1026 floating-point operations). Yêu cầu kiểm toán an toàn độc lập trước khi triển khai. Tạo sổ đăng ký quốc tế đã xác minh cho mọi lần huấn luyện mô hình biên giới. Compute là điểm nghẽn: một số lượng nhỏ nhà sản xuất, chủ yếu là TSMC, NVIDIA và ASML, kiểm soát phần cứng cần thiết để xây dựng hệ thống AI biên giới, khiến việc cấp phép ở lớp compute trở nên đơn giản về mặt kỹ thuật và có thể xác minh.

Một trần giới hạn chỉ có hiệu lực khi chính phần cứng được theo dõi. Các GPU cao cấp mà các lần huấn luyện phụ thuộc vào có thể đăng ký và, ngày càng, được xây dựng để xác minh trên chip vị trí và hoạt động của chúng, chứng thực vị trí chống giả mạo và giới hạn sử dụng được đặt trong silicon, để trần pháp lý trở thành trần vật lý. Đây cũng là câu trả lời cho việc di chuyển ra nước ngoài: nếu không có theo dõi ở cấp phần cứng, một phòng thí nghiệm chạm trần ở trong nước chỉ cần chuyển lần huấn luyện của mình sang khu vực pháp lý dễ dãi. Mở rộng kiểm soát xuất khẩu và xác minh cấp chip trên toàn bộ chuỗi cung ứng là điều giữ cho compute không âm thầm chảy đến nơi luật lệ yếu nhất.

02

Hiệp ước An toàn AI Quốc tế

Một thỏa thuận đa phương ràng buộc để cấm phát triển các hệ thống AI vượt ngưỡng năng lực chung đã xác định, được mô phỏng theo Hiệp ước Không Phổ biến Vũ khí Hạt nhân. Không quốc gia nào nên được miễn trừ. Đây không phải là lệnh cấm được dỡ bỏ theo lịch trình; đó là lệnh cấm vĩnh viễn. Siêu trí tuệ không thể bị con người kiểm soát. NPT là chưa hoàn hảo, nhưng nó đã ngăn chặn việc sử dụng vũ khí hạt nhân trong tám mươi năm. Lập luận phản đối tiêu chuẩn ("các nước khác sẽ vi phạm") là chính xác là lập luận được đưa ra chống lại việc không phổ biến hạt nhân. Câu trả lời không phải là chạy đua. Câu trả lời là một hiệp ước với các cơ chế xác minh.

03

Cơ quan Giám sát AI Toàn cầu

Một cơ quan liên chính phủ có quyền thanh tra, tương tự Cơ quan Năng lượng Nguyên tử Quốc tế, được trao quyền xác minh tuân thủ giới hạn compute và yêu cầu thực hành phát triển an toàn tại các phòng thí nghiệm AI tiên phong. IAEA được thành lập trong vòng ba năm sau Hiệp ước Không phổ biến vũ khí hạt nhân. Một Cơ quan Giám sát AI Toàn cầu có thể thực hiện được trong cùng khung thời gian nếu có ý chí chính trị. Nhiệm vụ của nó sẽ bao gồm báo cáo bắt buộc về các lần huấn luyện mô hình, thanh tra tại chỗ các phòng thí nghiệm AI lớn, và quyền đưa ra các khuyến nghị ràng buộc đối với các quốc gia thành viên.

Chi phí thực thi,
và tại sao nó đáng để chi trả.

Một hiệp ước chỉ thực tế bằng mức thực thi của nó. Vận động cho hiệp ước mà không nêu tên văn bản cụ thể là lừa dối. Chi phí là có thật. Nhưng so với những gì chúng mang lại, chi phí vẫn còn nhỏ.

Xác minh xâm nhập

Thực thi có ý nghĩa nghĩa là kiểm tra tại chỗ các trung tâm dữ liệu, khai báo bắt buộc các lần huấn luyện lớn, và phần cứng tự báo cáo vị trí và cách sử dụng của nó. Đó là sự xâm phạm vào bí mật thương mại và, nếu xử lý thiếu cẩn trọng, vào quyền riêng tư. Chế độ thanh tra hạt nhân chấp nhận sự xâm phạm tương tự vì phương án thay thế còn tồi tệ hơn. Biện pháp bảo vệ là giám sát mang tính quốc tế và minh bạch, không do bất kỳ quốc gia hay công ty nào sở hữu.

Lợi ích bị bỏ lỡ

Giữ siêu trí tuệ lại nghĩa là hoãn lại bất kỳ lợi ích nào mà một phiên bản có thể kiểm soát được có thể mang lại một ngày nào đó, và yêu cầu các công ty cùng quốc gia để lại lợi nhuận ngắn hạn khổng lồ trên bàn. Đây là một chi phí thực sự. Nhưng một siêu trí tuệ không thể kiểm soát không mang lại lợi ích cho ai cả, một hệ thống bạn không thể alignment không phải là tài sản bạn được giữ lại. Hoãn một giải thưởng mà không ai có thể đòi an toàn không phải là sự hy sinh lớn.

Một cạnh sắc

Quy tắc không có hậu quả chỉ là gợi ý. Thực thi chỉ hiệu quả khi vi phạm phải chịu hậu quả nặng: từ chối xuất khẩu, trừng phạt tài chính, loại trừ khỏi chuỗi cung ứng compute, và (như với vật liệu phân hạch) sự hiểu biết chung rằng một dự án ngông cuồng xây dựng siêu trí tuệ là tình huống khẩn cấp của mọi người, không phải của riêng ai. Xây dựng ranh giới đó khó và tốn kém về mặt chính trị. Mọi chế độ kiểm soát vũ trang nghiêm túc đều đã phải làm điều đó.

Chi phí thực thi có giới hạn. Chi phí của việc không thực thi thì không.

Mọi phản đối về việc thực thi (rằng nó xâm phạm, tốn kém và kìm hãm ngành) đều đúng và có thể sống sót. Kết cục duy nhất không thể sống sót chính là điều mà việc thực thi tồn tại để ngăn chặn. Chúng ta trả những chi phí có giới hạn, đã biết để loại trừ một chi phí không giới hạn, không thể đảo ngược. Đây là thỏa thuận tương tự mà nền văn minh đã thực hiện cho vũ khí hạt nhân, hóa học và sinh học.