'Nếu Ai Xây Nó, Mọi Người Đều Chết':
Lập luận, Được giải thích

Ít sách nào nêu kết luận ngay trong tiêu đề. Nếu Ai Đó Xây Dựng Nó, Mọi Người Đều Chết, xuất bản năm 2025 bởi Eliezer Yudkowsky và Nate Soares của Viện Nghiên cứu Trí tuệ Máy tính, làm đúng điều đó. Luận điểm là nếu bất kỳ nhóm nào xây dựng AI siêu trí tuệ bằng bất cứ thứ gì giống phương pháp hiện nay, kết quả mặc định là tuyệt chủng loài người, chứ không chỉ là trường hợp xấu nhất. Đây là lập trường kiên quyết nhất trong lĩnh vực, được trình bày cho độc giả phổ thông, và nó đã đưa tranh luận vào tầm nhìn chính thống.

Cuốn sách đáng để hiểu, vì nó trình bày trường hợp bi quan rõ ràng hơn bất kỳ thứ gì khác hiện có.

Lập luận trong ba bước

Cuốn sách được cấu trúc thành ba phần.

Trước tiên, lập luận về nguy hiểm. Chúng ta đang trên đường xây dựng AI có khả năng vượt trội hơn con người rất nhiều. Chúng ta không biết cách giao cho một hệ thống như vậy các mục tiêu thực sự phù hợp với sự sống còn và thịnh vượng của con người, và theo mặc định một hệ thống siêu trí tuệ theo đuổi gần như bất kỳ mục tiêu nào chúng ta có thể chỉ định hiện nay sẽ coi nhân loại như một chướng ngại vật hoặc nguồn tài nguyên. Các tác giả dựa vào cùng các cơ chế chúng tôi đề cập ở nơi khác, rằng năng lực không ngụ ý lòng nhân từ, rằng một bộ tối ưu hóa có khả năng chống lại sự sửa chữa, và chúng ta không thể xác minh những gì một hệ thống thực sự muốn. Yêu sách đặc biệt của họ là họ tin tưởng đến mức nào rằng các vấn đề này không gần được giải quyết và thất bại là chết người chứ không chỉ đơn thuần là xấu.

Thứ hai, một câu chuyện cụ thể. Thay vì để mối nguy trừu tượng, cuốn sách kể một kịch bản cụ thể về cách một AI siêu phàm có thể nắm quyền và chấm dứt sự kiểm soát của con người. Các tác giả nhấn mạnh rằng bất kỳ câu chuyện đơn lẻ nào cũng khó xảy ra ở chi tiết cụ thể; điểm mấu chốt là làm cho cơ chế trừu tượng trở nên sống động.

Thứ ba, phải làm gì. Lời khuyên của họ thẳng thắn như chẩn đoán: một lệnh dừng quốc tế đối với phát triển siêu trí tuệ AI, được thực thi nghiêm túc, bao gồm kiểm soát phần cứng tính toán cần thiết để huấn luyện hệ thống frontier, duy trì vĩnh viễn. Siêu trí tuệ không thể bị con người kiểm soát mà chỉ có thể hy vọng.

Lập luận cốt lõi của cuốn sách là, trên quỹ đạo hiện tại, đi sai đường là điều đáng mong đợi, và đi sai đường nghĩa là mọi người đều gặp nguy, chứ không phải AI có thể đi sai.

Những phản đối mạnh mẽ nhất

Phản đối phổ biến nhất nhắm vào sự chắc chắn. Các nhà phê bình chấp nhận rủi ro AI là có thật và nghiêm trọng trong khi bác bỏ khả năng gần như chắc chắn dẫn đến tuyệt chủng, lập luận rằng các tác giả coi các tiền đề còn tranh cãi, về tốc độ tăng trưởng năng lực, độ khó của alignment, và cách một cuộc tiếp quản diễn ra, với sự tự tin cao hơn mức bằng chứng hỗ trợ. Những người khác lập luận rằng tiến bộ alignment hứa hẹn hơn cuốn sách cho phép, hoặc sự u ám phản tác dụng, đẩy mọi người vào định mệnh thay vì hành động.

Những điều này là hợp lý, và sự tự tin của cuốn sách là đặc điểm dễ tranh cãi nhất. Bạn có thể thấy sự chắc chắn bị phóng đại và lập luận vẫn gây bất an, bởi vì các phản đối chủ yếu tấn công mức độ chắc chắn của chúng ta, chứ không phải liệu rủi ro có thực sự hay không.

Foundation đứng ở đâu

Chúng tôi chia sẻ niềm tin cốt lõi của cuốn sách: rằng chúng ta không biết cách căn chỉnh siêu trí tuệ, rằng xây dựng một siêu trí tuệ theo quỹ đạo hiện tại là một canh bạc không thể chấp nhận, và rằng phản ứng có trách nhiệm là dừng lại cho đến khi vấn đề được giải quyết. Các bài viết của chúng tôi đề cập đến lý do alignment có thể không giải quyết được và tại sao siêu trí tuệ không liên kết không mang lại tương lai tốt đẹp.

Điểm khác biệt của chúng tôi nằm ở trọng tâm và giọng điệu. Cuốn sách gần như tuyệt vọng về việc liệu vấn đề alignment có thể được giải quyết kịp thời hay không. Chúng tôi nhấn mạnh vào tính khả thi của giải pháp mà chính cuốn sách ủng hộ, đó là một lệnh dừng quốc tế có tính ràng buộc, và coi nó không phải là hy vọng mong manh mà là một dự án chính trị và pháp lý cụ thể có tiền lệ thực tế Tuyên bố về Siêu trí tuệ, được ký bởi chính nhiều người sáng lập trong lĩnh vực, cho thấy lời kêu gọi dừng lại đã trở thành xu hướng chính thống. Bạn không cần chấp nhận mọi lập luận trong Nếu Ai Đó Xây Dựng Nó, Mọi Người Đều Chết để kết luận rằng giải pháp của nó là lựa chọn hợp lý. Lập luận giá trị kỳ vọng đã được trình bày trong bài viết của chúng tôi về P(doom), đưa bạn đến đó ngay cả với mức độ tin cậy thấp hơn nhiều so với tác giả. Biến đơn thuốc đó thành hiện thực là kế hoạch của chúng tôi.