"Tôi là người lạc quan. Chắc chắn loài người sẽ không tuyệt chủng. Điều đó chưa từng xảy ra." Bạn nghe câu này sau các buổi thảo luận an toàn, trong phòng chờ và các luồng bình luận, thường kèm theo nụ cười nhằm khép lại chủ đề. Nụ cười ấy thực hiện công việc xã hội thực sự. Nó vẽ nên sự thận trọng như một khiếm khuyết tính cách và sự thúc đẩy như sức khỏe tinh thần. Nó cũng lén đưa một tuyên bố rủi ro vào trong một tâm trạng.

Lạc quan là được phép. Điều không được phép, nếu chúng ta vẫn đang làm việc nghiêm túc, là coi một tính cách như bằng chứng.

Những gì "chưa từng xảy ra trước đây" thực sự nói

Sự tuyệt chủng của loài người, theo định nghĩa, không có nhân chứng con người sau đó. Mọi người đang sống đều đang lấy mẫu từ những dòng thời gian mà loài vẫn tiếp tục tồn tại. Gọi đó là sự chọn lọc, không phải triết lý: người trúng xổ số là nguồn kém cỏi về tỷ lệ trúng, và "Tôi chưa bao giờ chết trong tai nạn xe hơi" là lập luận yếu chống lại dây an toàn.

Hồ sơ hóa thạch ít tình cảm hơn. Đa số loài từng tồn tại trên Trái Đất đều đã biến mất. Vài đợt tuyệt chủng hàng loạt đã dọn sạch bàn cờ cho những gì đến sau. Homo sapiens là trẻ trong thời gian địa chất và đã đi qua các nút thắt, dịch bệnh và chiến tranh có thể kết liễu chúng ta chỉ qua một lần tung xúc xắc lạnh lẽo hơn. "Chưa từng xảy ra trước đây" chỉ là nhận xét về lát cắt mỏng manh của lịch sử mà chúng ta còn có thể bàn luận.

Những lần đầu tiên chính là thứ tạo nên thảm họa

Trước năm 1945, chưa có thành phố nào bị phá hủy bởi một quả bom duy nhất. Trước năm 1918, chưa có đại dịch nào lan trên mạng lưới đường sắt và tàu biển toàn cầu với tốc độ đó. Trước công việc ozone những năm 1980, chưa ai thực hiện thí nghiệm của con người là làm mỏng lớp giữ ánh sáng tử ngoại khỏi khử trùng bề mặt. Mỗi trường hợp đó, trước đó, là điều chưa từng xảy ra. Những người hành động không chờ đợi một trường hợp hoàn chỉnh trở thành sẵn có như một nghiên cứu tình huống.

Trí tuệ siêu việt nhân tạo nằm trong nhóm đó. Không có chuỗi lịch sử các siêu trí tuệ lệch lạc để tính trung bình. Có một cơ chế: các hệ thống theo đuổi mục tiêu, cải thiện năng lực riêng và cuối cùng vượt trội các thể chế được thiết kế để sửa chữa chúng. Cơ chế là thứ dùng khi tỷ lệ nền tảng im lặng. Yêu cầu một vụ tuyệt chủng loài người do AI trước khi coi cơ chế nghiêm túc là đòi xác chết trước khi chẩn đoán.

Mọi thảm họa đầu tiên, trước khi xảy ra, đều trông như điều chưa từng có.

Lạc quan, nhắm đúng mục tiêu

Có một dạng lạc quan tôi tôn trọng. Nó nói: con người đã từng phối hợp dưới áp lực. Các hiệp ước đã được tuân thủ. Các ngành công nghiệp đã bị buộc thay đổi hướng khi khoa học rõ ràng và chính trị được tổ chức hồ sơ kiềm chế là có thật, từ kiểm soát vũ khí hạt nhân đến các chất hóa học đang phá hủy tầng ozone. Sự lạc quan đó chỉ vào khả năng hành động. Nó giả định tương lai vẫn còn là một quyết định.

Phiên bản greenroom làm ngược lại. Nó coi sự sống còn là cài đặt mặc định của vũ trụ và mối quan tâm là cách cư xử kém lịch sự. Nó nhầm lẫn "Tôi thích kết quả tốt" với "kết quả tốt do đó có khả năng xảy ra."

Khi Geoffrey Hinton, Yoshua Bengio và hàng trăm nhà nghiên cứu đưa rủi ro AI cấp độ tuyệt chủng vào cùng danh sách với đại dịch và chiến tranh hạt nhân, họ đang làm điều mà các chuyên gia vẫn làm khi một cơ chế trông có vẻ hợp lý và hậu quả là thảm khốc, chứ không phải diễn vai phản diện trong bài thuyết trình công nghệ. Bạn có thể không đồng ý với con số của họ. Bạn không thể bác bỏ cả hạng mục bằng cách tuyên bố kiểu tính cách của mình.

Cái giá của sự nhún vai

Sự nhún vai đang làm việc cho những người cần việc xây dựng tiếp tục mà không gặp xung đột. Nếu lời nói về tuyệt chủng bị quy về vấn đề "không khí", thì động thái lịch sự duy nhất là chuyển chủ đề trở lại năng suất và ứng dụng. Trong khi đó các phòng lab mở rộng quy mô, các đánh giá tụt lại phía sau, và vấn đề kiểm soát vẫn chưa được giải quyết. Tâm trạng đã bị nhầm lẫn với quản trị.

Tôi muốn dự án con người tiếp tục. Muốn là phần dễ. Phần khó là từ chối một lộ trình phát triển tập trung quyền lực không thể sửa chữa vào những hệ thống mà không ai có thể tắt một cách đáng tin cậy, và thực hiện công việc chính trị cần thiết để dừng ràng buộc requires. If optimism only means "stop talking about the downside," it has become a lullaby.

Sự tuyệt chủng chưa từng xảy ra với chúng ta trước đây.