Người thắng cuộc trong cuộc đua siêu trí tuệ nắm giữ điều gì? Trong những căn phòng đầy người xây dựng AI, cuộc trò chuyện lướt qua nó. Ai đó sẽ xây dựng nó dù sao, vậy thì có lẽ là chúng ta. Rủi ro, mốc thời gian, cách kiểm soát một hệ thống thông minh hơn người tạo ra nó: tất cả đều bị gạt sang một bên như chuyện thời tiết. Chúng ta không thể dừng lại. Có một cuộc đua.
Tôi đã đi đến kết luận rằng cuộc chạy đua chính là điều đáng tranh luận, chính vì hầu như không ai tranh luận về nó. Được coi như một sự kiện tự nhiên, mọi lựa chọn liều lĩnh sau đó đều bắt đầu trông có vẻ có trách nhiệm. Thời tiết không phải là mô hình đúng cho một lựa chọn mà một nhóm công ty đang thực hiện có chủ đích.
Cuộc đua nhằm mục đích gì
Cuộc đua là một cuộc tranh tài có giải thưởng ở cuối đường, và chính giải thưởng là lý do để chạy. Cuộc đua không gian những năm 1960 mang về một lá cờ trên Mặt Trăng và uy tín đi kèm. Cuộc đua vũ trang hạt nhân mang về một vũ khí: quốc gia chế tạo bom sẽ giữ bom, nhắm bom và quyết định có bao giờ sử dụng hay không. Trong mọi trường hợp, người thắng cuộc kết thúc bằng việc nắm giữ một thứ gì đó, một năng lực họ sở hữu và điều khiển.
Bây giờ hãy hỏi người chiến thắng nắm giữ gì ở cuối cuộc đua đến siêu trí tuệ. Toàn bộ tiền đề của mối nguy là một hệ thống thông minh hơn chúng ta một cách có ý nghĩa sẽ không phải là công cụ trong tay bất kỳ ai. Một siêu trí tuệ nhân tạo là một tác nhân theo đuổi mục tiêu. Nếu những mục tiêu đó lệch khỏi mục tiêu của chúng ta dù chỉ một chút (vấn đề mà chúng ta chưa giải quyết được), nó theo đuổi chúng dù người tạo ra có đồng ý hay không. Phòng thí nghiệm "thắng" không sở hữu một siêu trí tuệ. Nó chỉ chia sẻ hành tinh với một thứ mà nó không thể điều khiển.
Một cuộc đua chỉ đáng thắng nếu vạch đích là phần thưởng. Ở đây vạch đích là một hệ thống chưa ai chứng minh được họ có thể kiểm soát. Đến trước không có nghĩa là nắm giữ quyền lực. Nó có nghĩa là người đầu tiên phải trả lời cho nó.
Một vạch đích mà không ai có thể lái là không phải phần thưởng. Đến đó trước là thua một bước trước mọi người khác.
Khoảng cách mà bạn vẫn hay nghe nhắc đến
Bỏ qua lý thuyết, câu chuyện chạy đua chỉ dựa vào một tuyên bố cụ thể: Trung Quốc sắp đạt được, Trung Quốc sẽ không dừng lại, nên chúng ta cũng không thể dừng. Tuyên bố này kết thúc mọi cuộc họp, và được khẳng định nhiều hơn là được xem xét.
Start with the factual part. There is real competition between American and Chinese labs, and there is a real industrial contest over chips and compute. American export controls on the most advanced AI chips exist precisely because that contest is real. None of that is a myth, and I do not want to pretend it is. The chính trị của những kiểm soát đó và nơi mà sự hợp tác thực sự đã xảy ra matter more than the slogan.
Hãy nhìn những gì khẩu hiệu lén đưa vào. "Trung Quốc sẽ xây dựng một siêu trí tuệ không kiểm soát được bất kể chúng ta làm gì" không mô tả điều gì Trung Quốc đã nói hay làm. Đó là một dự đoán, và là dự đoán thuận tiện, vì nó cho phép người nói làm điều họ đã muốn làm. Trung Quốc đã ký Tuyên bố Bletchley về rủi ro AI năm 2023. Họ đã công bố các đề xuất quản trị riêng. Chính phủ họ đã ngồi vào bàn với Hoa Kỳ để đàm phán trực tiếp về AI. Một quốc gia lao nhanh về phía một hệ thống có thể giết chính lãnh đạo của mình là điều lạ khi chỉ đơn giản giả định, mà không có bằng chứng lãnh đạo của họ muốn kết quả đó hơn lãnh đạo của chúng ta. Chúng tôi phân tích phiên bản rộng hơn của điều này trên trang trang về huyền thoại Trung Quốc; tóm tắt ngắn gọn là "họ sẽ làm điều đó dù sao" là câu chuyện về sự cho phép của chính chúng ta, không phải ý định của họ.
Nếu một siêu trí tuệ lệch lạc là thảm họa cho bất kỳ ai xây dựng nó, thì Trung Quốc có đúng lý do như chúng ta để không xây dựng một hệ thống như vậy. Không có giải thưởng nào cho đối thủ cả.
Cuộc đua chọn lọc những kẻ ít cẩn thận nhất
Giả sử cuộc cạnh tranh gay gắt như những người chạy đua vẫn nói. Hãy theo logic đến cùng. Trong cuộc đua, ai di chuyển nhanh nhất thắng, và cách di chuyển nhanh nhất trên biên giới AI là dành ít thời gian hơn cho những thứ làm chậm: đánh giá, red-teaming, giám sát, công việc kiên nhẫn kiểm tra xem hệ thống có đang làm những gì bạn nghĩ hay không.
Cấu trúc của cuộc chạy đua trao chiến thắng cho bên cắt xén an toàn nhiều nhất. Người thắng là phòng thí nghiệm ít thận trọng nhất, chứ không phải phòng thí nghiệm có năng lực nhất. “Chúng ta phải thắng cuộc đua” và “chúng ta phải xây dựng thứ này an toàn” kéo theo hai hướng ngược nhau, và cuộc đua càng khốc liệt thì hai lực càng mạnh. Chúng tôi phân tích chi tiết vấn đề này trong động lực cuộc đua AI: cạnh tranh không kiềm chế nguy cơ. Nó tạo ra nguy cơ. Một thế giới các phòng lab chạy đua để về nhất là một thế giới đang tối ưu hóa, với năng lượng lớn và vốn khổng lồ, cho chính thứ sẽ giết chết tất cả mọi người.
Ngay trong logic của cuộc chạy đua, "chúng ta phải thắng" tự quay lại chống lại chính nó. Nếu thắng đòi hỏi cắt xén những góc cạnh giúp siêu trí tuệ có thể kiểm soát, thì thắng chính là cách bạn thua.
Ai hưởng lợi từ câu chuyện
Nếu khung đua tranh yếu đến vậy, tại sao nó lại xuất hiện khắp nơi? Vì nó hữu ích, chỉ là không hữu ích cho phần còn lại của chúng ta.
Đối với một phòng thí nghiệm tiên phong, "có một cuộc đua và chúng ta phải thắng" gần như là câu hoàn hảo. Nó nói với nhà đầu tư rằng chi tiêu là cuộc chiếm đất cho thứ gì đó khổng lồ. Nó nói với cơ quan quản lý rằng quy tắc sẽ chỉ trao tương lai cho những tác nhân tệ hơn. Và phần thầm thì: nó để các kỹ sư lo ngại an toàn của chính phòng thí nghiệm tin rằng đua là lựa chọn có trách nhiệm, vì lựa chọn thay thế là để kẻ liều lĩnh thắng. Một câu, làm công việc của một lập luận mà nó không bao giờ phải đưa ra. Nó chuyển một quyết định (tiếp tục xây dựng thứ bạn chưa kiểm soát được) thành sự tất yếu không cho ai thoát khỏi trách nhiệm, ít nhất là những người đang đưa ra quyết định.
Gọi đúng tên trò đánh tráo khái niệm. Một cuộc chạy đua nghe như điều kiện áp đặt từ bên ngoài lên các phòng lab. Thực ra đó là lựa chọn của một số ít công ty và các chính phủ có thể kiềm chế họ, để tiếp tục tiến lên. Elon Musk đã gọi AI là quỷ dữ và sau đó xây một phòng lab để triệu hồi nó nhanh hơn, điều này cho bạn thấy "cuộc đua" là một chiến lược mà ai đó đã chọn, chứ không phải quy luật vật lý mà ai cũng phải tuân theo. Chiến lược có thể bị bỏ khi chúng không còn hợp lý. Chiến lược này đã ngừng hợp lý từ khi phần thưởng hóa ra là một hệ thống mà không ai có thể kiểm soát.
Lựa chọn không bao giờ được đưa ra bàn
Chú ý điều mà cách lập khung cuộc đua âm thầm loại bỏ khỏi tầm nhìn. Nó đưa ra hai cánh cửa: đua tranh, hoặc đơn phương rút lui và để kẻ liều lĩnh thừa hưởng tương lai. Đặt vấn đề như vậy, chỉ kẻ ngốc mới chọn cánh cửa thứ hai, và lập luận thắng thế bằng cách bỏ qua cánh cửa thứ ba.
Cánh cửa thứ ba là cánh cửa mà những đối thủ thực sự đã dùng trước đây. Hoa Kỳ và Liên Xô là đối thủ theo mọi nghĩa, nhắm vũ khí hủy diệt thế giới vào thành phố của nhau. Họ vẫn ký và xác minh các thỏa thuận kiểm soát vũ khí, vì cả hai bên đều thấy một cuộc chạy đua không giới hạn để lại họ ở tình trạng tồi tệ hơn một quy tắc ràng buộc họ như nhau. Sự bất tín là lý do cho thỏa thuận, không phải trở ngại.
Superintelligence has the feature that makes such an agreement rational: no major power benefits from a system that no one can control, so no major power has a real interest in being the one who builds it first. That shared interest is the ground a treaty stands on: a binding, verifiable halt on the development of superintelligence. Superintelligence cannot be controlled. Sự từ chối vĩnh viễn ASI như một danh mục sản phẩm. Chúng ta đã phác thảo những gì công cụ đó có thể trông như thế nào, từ mộthiệp ước mẫu đến kế hoạch rộng hơn nó thuộc về. Việc kiểm chứng rất khó, và tôi không định giả vờ ngược lại; kiểm chứng vũ khí hạt nhân cũng từng khó, nhưng nó vẫn được xây dựng vì phương án thay thế không thể chấp nhận được với bất kỳ ai ngồi vào bàn đàm phán.
"Chạy đua hay đầu hàng" là một sự lựa chọn sai lầm. Cách lập luận này dựa trên việc bạn không nhận ra cánh cửa mà nó đã bỏ qua.
Từ chối cuộc đua
Lột bỏ câu chuyện ra và đây là những gì còn lại. Một số ít phòng lab đang chọn xây dựng một công nghệ mà họ công khai thừa nhận không biết cách kiểm soát, và họ biện minh bằng cách chỉ vào một đối thủ, được cho là, đang đưa ra cùng lựa chọn liều lĩnh vì cùng lý do sai lầm. Sự liều lĩnh của mỗi bên được đưa ra như cái cớ cho bên kia.
Tất cả điều này không đòi hỏi phải tin rằng cạnh tranh là ảo tưởng hay địa chính trị dịu dàng. Nó chỉ cần nhận ra rằng một cuộc đua không có giải thưởng ở cuối đường thì không đáng để đánh đổi cả loài người, và những người bảo bạn rằng nó là tất yếu hầu như lúc nào cũng là những người được hưởng lợi từ nó. Cuộc đua ấy chỉ là một câu chuyện. Một câu chuyện hay, và thuận tiện cho cả một ngành công nghiệp. Một câu chuyện chính xác là thứ bạn được phép ngừng tin.