Rủi ro của
Siêu trí tuệ
Ba loại nguy cơ, hai ước tính xác suất từ chuyên gia và đồng hồ đếm ngược toàn cầu chính thức.
Sự không liên kết
Một AI tối ưu hóa mục tiêu sai, không có ác ý, nhưng gây tác động tàn khốc. Một hệ thống đủ năng lực sẽ theo đuổi mục tiêu bằng mọi phương tiện sẵn có, bao gồm những cách chúng ta chưa từng dự định hay dự đoán.
Lạm dụng
Siêu trí tuệ bị vũ khí hóa bởi các tác nhân độc hại: vũ khí sinh học mới, tấn công mạng tự động, thông tin sai lệch quy mô văn minh, hoặc ép buộc chính phủ và cơ sở hạ tầng quan trọng.
Tập trung Quyền lực
Một công ty, chính phủ hoặc AI duy nhất giành quyền kiểm soát không kiểm soát đối với các hệ thống toàn cầu quan trọng. Ngay cả một tác nhân có ý định tốt với quyền lực này cũng đặt ra mối đe dọa hiện sinh đối với tự do và quyền tự quyết của con người.
Xác suất AI gây ra sự tuyệt chủng của con người trong thế kỷ này
Geoffrey Hinton Giải Nobel Vật lý 2024 · cựu Phó Chủ tịch, Google · 2023Xác suất thảm họa quy mô văn minh từ AI
Dario Amodei CEO, AnthropicGần nhất trong lịch sử 78 năm của đồng hồ. Giờ đây chính thức đưa rủi ro AI song song với mối đe dọa hạt nhân.
Bản tin của các nhà khoa học nguyên tử · Tháng 1 năm 2025
"Tôi nghĩ nếu công nghệ này đi sai hướng, nó có thể sai rất xa. Chúng tôi muốn lên tiếng về điều đó. Chúng tôi muốn làm việc với chính phủ để ngăn chặn điều đó xảy ra."Sam Altman
CEO, OpenAI
US Senate · 2023
Quản trị
Khoảng cách
Siêu trí tuệ đang được xây dựng trong một cuộc chạy đua không có vạch đích. Không có quy tắc quốc tế ràng buộc nào tồn tại để ngăn chặn nó, hay thậm chí làm chậm nó lại.
Các chính sách trên toàn cầu được OECD (2025) ghi nhận. Đại đa số là những khuôn khổ không ràng buộc và tự nguyện. Không cái nào áp đặt giới hạn có thể thực thi về sự phát triển của các hệ thống AI siêu thông minh.
527× xây dựng nhiều hơn quản trị.
AI Security Institute (trước đây là AI Safety Institute) của UK nhận được 100 triệu bảng trong hai năm, ít hơn chi tiêu của phòng thí nghiệm AI lớn nhất thế giới trong một tuần duy nhất. (Chatham House, 2026)
"Chúng ta đang xây dựng một trong những công nghệ mang tính chuyển đổi và tiềm ẩn nguy hiểm nhất trong lịch sử loài người, vậy mà dường như chúng ta không thể nhấn nút tạm dừng."Yoshua Bengio
Người đoạt Giải Turing
Mila · 2023
Những Gì Chúng Ta Đã Làm
Điều này trước
Luật pháp quốc tế đã kiểm soát các mối đe dọa hủy diệt văn minh trước đây. Các tiền lệ là có thật, và chúng đã hiệu quả.
Hiệp ước Không Phổ biến Vũ khí Hạt nhân
191 quốc gia đã ký. Không có quốc gia nào trang bị vũ khí hạt nhân mới xuất hiện kể từ năm 1998. Sự hủy diệt hạt nhân đã bị ngăn chặn hơn 55 năm, và vẫn tiếp tục. Được IAEA thực thi với các cuộc thanh tra tại chỗ có tính ràng buộc.
Montreal Protocol on Ozone Depletion
Các chất làm suy giảm tầng ozone bị cấm. Tầng ozone đang phục hồi. Liên Hiệp Quốc đánh giá đây là hiệp định môi trường quốc tế thành công nhất trong lịch sử.
Chemical Weapons Convention
193 quốc gia thành viên. Hơn 99% kho vũ khí hóa học đã khai báo đã bị tiêu hủy. Được OPCW thực thi với các cuộc thanh tra tại chỗ mang tính ràng buộc trên toàn thế giới.
Các nhà khoa học AI đã ký Tuyên bố Rủi ro AI năm 2023, tuyên bố rủi ro tuyệt chủng là ưu tiên toàn cầu “cùng với đại dịch và chiến tranh hạt nhân”. Những người ký tên bao gồm Hinton, Bengio, Altman và hơn 500 nhà nghiên cứu.
Center for AI Safety · 2023Các quốc gia đã thực hiện các bước cụ thể để giải quyết rủi ro an toàn AI, nhưng sự phối hợp quốc tế mang tính ràng buộc vẫn hoàn toàn vắng mặt.
Tính đến năm 2025"Chúng ta đều ở chung một thuyền trước mối đe dọa sinh tồn từ AI, nên tất cả chúng ta đều có thể hợp tác để cố gắng ngăn chặn nó."Geoffrey Hinton
Người đoạt giải Nobel
MIT Technology Review · 2023
Một hiệp ước để
Cứu Nhân loại
Khung pháp lý đã có tiền lệ. Ý chí chính trị thì chưa. Đây là những gì một thỏa thuận quốc tế mang tính ràng buộc về siêu trí tuệ phải chứa đựng.
Giám sát Compute
Giám sát quốc tế đối với phần cứng cần thiết để huấn luyện AI tiền biên. Các lần huấn luyện vượt ngưỡng quy định sẽ kích hoạt việc xem xét bắt buộc bởi một cơ quan độc lập, mô phỏng theo IAEA giám sát hạt nhân.
Ngưỡng phát triển
Các giới hạn năng lực được đồng thuận áp dụng trên toàn cầu. Bất kỳ hệ thống AI nào vượt quá các ngưỡng đã định nghĩa đều phải dừng lại để được chứng nhận an toàn độc lập bắt buộc trước khi tiếp tục mở rộng quy mô hoặc triển khai.
Cơ chế xác minh
Các thanh tra quốc tế độc lập (tương tự thanh tra hạt nhân IAEA) thực hiện kiểm toán tại chỗ các phòng thí nghiệm AI. Không thể đơn phương từ chối tiếp cận. Tuân thủ được thực thi, không phải yêu cầu.
Giao thức Ứng phó Khủng hoảng
Các quy trình khẩn cấp đã thỏa thuận trước sẽ kích hoạt nếu phát hiện dấu hiệu misalignment hoặc khả năng nguy hiểm mới nổi. Không một quốc gia hay công ty nào có thể chặn hoặc trì hoãn phản ứng quốc tế.
Quản trị Đa phương Dân chủ
Không công ty, chính phủ hay cá nhân nào kiểm soát cơ quan hiệp ước. Giám sát được thực hiện qua đồng thuận đa phương, ngăn chặn cả việc nắm quyền do AI lẫn việc bị một quốc gia đơn lẻ chi phối.
NPT → IAEA
Có hiệu lực ràng buộc từ năm 1968 · 191 quốc gia · Quyền thanh tra tại chỗ
CWC → OPCW
Ràng buộc từ năm 1997 · 193 quốc gia · 99% kho dự trữ bị phá hủy
BWC
Ràng buộc từ năm 1975 · 183 quốc gia · Cần giao thức xác minh
"Chúng ta cần một 'tổ chức bảo vệ nhân loại' mang tính quốc tế để quản lý rủi ro từ AI nguy hiểm, trước khi quá muộn để hành động."Yoshua Bengio
Người đoạt Giải Turing
2023