"Nếu chúng ta ngừng xây dựng siêu trí tuệ, người khác sẽ làm." Câu này kết thúc cuộc trò chuyện trong hàng trăm phòng. Nó nghe như địa lý và lý thuyết trò chơi. Thường thì không phải. Thường thì đó là cách tiếp tục xây dựng trong khi gọi việc xây dựng là không thể tránh khỏi. Hãy thử cùng hình thức với công nghệ chúng ta đã xử lý. "Nếu chúng ta ngừng sản xuất tủ lạnh dùng CFC, người khác sẽ vẫn tiếp tục sản xuất tủ lạnh."
Đúng vậy. Họ vẫn tiếp tục sản xuất tủ lạnh. Họ chỉ ngừng dùng chất hóa học đang khoét thủng tầng ozone.
Hai danh từ khác nhau
Tủ lạnh là một dịch vụ: giữ thực phẩm lạnh, bảo quản vắc-xin, giảm hư hao. Chlorofluorocarbon từng là một cách để có được dịch vụ đó, và là thảm họa cho tầng ozone khi hóa học đã rõ ràng Nghị định thư Montreal không cấm lạnh. Nó lên lịch loại bỏ dần các chất gây hại, tài trợ giải pháp thay thế cho các nước nghèo hơn, và hậu thuẫn thỏa thuận bằng áp lực thương mại. Ngành công nghiệp từng nói việc loại bỏ là bất khả thi. Tủ lạnh vẫn còn. Các CFC thì biến mất.
Tu từ siêu trí tuệ gộp hai danh từ thành một. "AI" trở thành một khối duy nhất bao gồm mô hình ung thư, trình lập tuyến đường và một tác nhân giả định thông minh hơn loài người. Nếu bạn từ chối mục cuối cùng, khẩu hiệu nói rằng bạn cũng từ chối những mục đầu tiên, và ai đó ít nguyên tắc hơn sẽ tung ra tất cả. Thủ đoạn là giả vờ chất độc giống hệt sản phẩm để việc loại bỏ chất độc nghe như cuộc chiến chống lại sản phẩm.
Chúng ta đã không cứu tầng ozone bằng cách hứa sẽ tạo ra lỗ thủng trước. Chúng ta giữ tủ lạnh và loại bỏ chất hóa học.
"someone else will" dùng để làm gì
Một phòng thí nghiệm đối thủ, hay một bang đối địch, có thể cố gắng luyện tập qua bất cứ đường nào bạn vẽ. Khả năng đó đủ thật để lên kế hoạch. Nó cũng là khả năng kiểm soát vũ khí được phát minh để xử lý. Câu trả lời cho "ai đó có thể chế tạo vũ khí hạt nhân" không phải là "thì chúng ta phải thử nghiệm vô hạn." Đó là chứng minh, bóp cổ vật liệu xơ cứng và hậu quả của việc trốn thoát.
Năng lực tính toán phức tạp hơn uranium, và không ai nghiêm túc phủ nhận điều đó. Nó vẫn là thứ vật lý, đắt đỏ ở biên giới công nghệ, và đi qua danh sách ngắn các nhà sản xuất chip, xưởng đúc cùng khu vực đám mây. Đó là cấu trúc đủ để xây dựng kiểm tra, và đó là lý do quản trị compute xuất hiện trong mọi bản phác thảo hiệp ước nghiêm túc. "Someone else will" bỏ qua công việc đó và đi thẳng đến sự cho phép.
Chú ý xem ai hưởng lợi từ việc bỏ qua. Nếu sự kiềm chế bị coi là sự đầu hàng đơn phương, thì tư thế người lớn duy nhất là lao hết tốc lực. Nhà đầu tư nghe thấy định mệnh. Nhân viên an toàn nghe rằng chậm lại là ngây thơ. Khẩu hiệu không cần thắng cuộc tranh luận về cơ chế. Nó chỉ cần khiến lựa chọn thứ ba, kiềm chế chung, trở nên trẻ con.
Tủ lạnh chưa bao giờ là kẻ thù
Chúng tôi muốn AI hẹp chẩn đoán bệnh, thiết kế thuốc và phát hiện lỗi cầu đường. Hãy nói rõ điều đó để lời vu khống không bám được. Lằn ranh của quỹ là sự từ chối xây dựng các hệ thống vượt trội và thay thế sự kiểm soát của con người trong khi vấn đề kiểm soát chưa được giải quyết.
Điều đó gần với "sử dụng chất làm lạnh khác" hơn là "cấm kho lạnh." Những người xóa nhòa sự phân biệt đang mượn sự phổ biến của AI hữu ích để che đậy một năng lực không còn là công cụ.
Cuộc chiến ozone thực sự dạy chúng ta điều gì
Montreal thành công vì khoa học lên tiếng mạnh mẽ, có chất thay thế sẵn có, và những bên cầm cự phải chịu chi phí thương mại. Siêu trí tuệ nhân tạo khó tìm chất thay thế hơn cho "ưu thế chiến lược", và dễ dàng hơn ở một khía cạnh khẩu hiệu bỏ qua: không cường quốc lớn nào có lợi ích nhất quán với một hệ thống không nằm dưới sự kiểm soát của bất kỳ ai. Sự dễ bị tổn thương chung là nguyên liệu thô để đạt được thỏa thuận. Chúng tôi mở rộng lập luận đó trên Huyền thoại Trung Quốc trang và trong huyền thoại chủng tộc essay. Phiên bản ngắn gọn là nỗi sợ đối thủ có thể tài trợ cho một hiệp ước dễ dàng như tài trợ cho một cuộc chạy đua, một khi đích đến rỗng tuếch trở nên rõ ràng.
Hỏi họ đang nói đến danh từ nào. AI hữu ích không nằm trên bàn mổ. Siêu trí tuệ không thể kiểm soát mới là vấn đề. Với danh từ thứ hai, rủi ro đào ngũ là lý do để xây dựng cơ chế thực thi, chứ không phải lý do để đào ngũ trước. Tủ lạnh vẫn chạy. Bầu trời hồi phục vì mọi người phân biệt được sự khác biệt.