Phòng ngừa, Không Phải Tạm dừng
Một đợt chậm tạm thời chỉ trao nút khởi động lại cho chính cuộc chạy đua đó. Chúng ta muốn lệnh cấm vĩnh viễn. Siêu trí tuệ nhân tạo không thể kiểm soát được.
Một khoảng dừng
Làm chậm các phòng lab vài năm. Hy vọng an toàn bắt kịp đúng lịch. Sau đó tiếp tục. Siêu trí tuệ vẫn là đích đến. Chỉ có đồng hồ là thay đổi.
Phòng ngừa
Cấm các hệ thống vượt ngưỡng năng lực tổng quát. Không có lịch trình khởi động lại. Lệnh cấm duy trì chừng nào chưa ai kiểm soát được một trí óc thông minh hơn người tạo ra nó.
Không có phương pháp kiểm soát đã được xác thực nào tồn tại
Không phải ở quy mô nhỏ. Cũng không phải ở quy mô lớn. Các phòng lab hàng đầu đã công khai thừa nhận điều đó. Một lệnh tạm dừng dựa trên giả định rằng alignment sẽ kịp hoàn thành đúng hạn chỉ là một canh bạc không có phương pháp nào đằng sau.
AI hẹp vẫn tiếp tục phát triển
Thuốc men, mô hình thời tiết, bộ tối ưu công nghiệp, công cụ lập trình. Các hệ thống không có chương trình nghị sự mở vẫn hợp pháp và được tài trợ. Ranh giới nằm quanh trí tuệ tổng quát tự chủ, không phải quanh AI nói chung.
Các hiệp ước đã hoạt động theo cách này
Hiệp ước Không Phổ biến Vũ khí Hạt nhân không tạm dừng bom trong năm năm. Nó giới hạn ai được phép chế tạo chúng, kèm theo thanh tra. Vũ khí hóa học và hóa chất ozone cũng nhận được cách xử lý tương tự. Superintelligence cần hình thức luật pháp đó.
Các chính phủ nên cấm siêu trí tuệ nhân tạo theo một hiệp ước quốc tế có kiểm chứng. Siêu trí tuệ không thể bị con người kiểm soát, do đó lệnh cấm là vĩnh viễn.