Open Philanthropy, 80,000 Hours, và dòng nghiên cứu đi qua Viện Tương lai Nhân loại đã làm điều mà hầu hết các tổ chức vẫn từ chối làm. Họ coi trí tuệ siêu nhân tạo là một cách có thể xảy ra để câu chuyện loài người kết thúc, và họ chuyển tiền thật cùng nhân tài thật cho nhận định đó. Về rủi ro thực sự, họ đã sớm và họ đúng.
Nơi danh mục đầu tư sai lầm là suy luận tiếp theo. Từ "điều này có thể vĩnh viễn thu hẹp tương lai của nhân loại", câu trả lời chủ đạo của phe longtermist trở thành: tài trợ nghiên cứu alignment kỹ thuật, tài trợ quản trị ASI để làm chậm hoặc định hướng biên giới, và giữ đường dẫn mở để xây dựng hệ thống khi chúng trông an toàn hơn. Đây cũng là kế hoạch sai cho rủi ro mà họ đã đặt tên đúng.
Sao lại thẳng hàng như cái cần gạt?
Quy mô, mức độ bị bỏ qua và khả năng giải quyết vẫn quan trọng. Một siêu trí tuệ lệch hướng có thể ảnh hưởng đến mọi người đang sống và mọi thế hệ sau họ. Trong nhiều năm gần như không ai có quyền lực coi đó là khả năng thực tế. Công việc kỹ thuật về việc chỉ định mục tiêu sai, lừa dối và giám sát trông giống như một trong số ít đòn bẩy có thể nâng cao cơ hội kết quả tốt nếu các hệ thống mạnh mẽ xuất hiện dù sao. Việc đóng cửa phòng thí nghiệm đơn phương trông vô vọng dưới cạnh tranh. Vì vậy danh mục trách nhiệm kết hợp khoa học alignment, chính sách mua thời gian, và ảnh hưởng thận trọng bên trong các phòng thí nghiệm và chính phủ sẽ xây dựng các hệ thống dù sao đi nữa.
Tôi chấp nhận hầu hết các tiền đề. Hậu quả là ở quy mô văn minh. Chủ đề này từng bị bỏ qua. Một số công việc an toàn kỹ thuật trên các hệ thống ta vẫn còn kiểm tra và tắt được chỉ là kỹ thuật thông thường. Các phòng thí nghiệm đối thủ và các quốc gia đối thủ khiến chiến lược "một công ty rút lui" trở nên yếu ớt. Không có gì trong đó mang tính biếm họa, và việc chế giễu những người đầu tiên coi trọng rủi ro là lãng phí thời gian.
Nơi suy luận bị phá vỡ
Điểm đứt gãy là giả định thầm lặng rằng đích đến đã được định sẵn. Nếu siêu trí tuệ đang đến bất kể điều gì, thì công việc duy nhất còn lại là làm cho sự đến nơi ít chết chóc hơn. Tài trợ alignment, evals và "responsible scaling" đều có ý nghĩa dưới giả định ấy. Chúng trở thành dự án đạo đức chính của một thế hệ tin rằng mình không thể chọn trạng thái kết thúc. Hầu hết tiền bạc và uy tín vẫn đổ vào việc làm cho cuộc đua an toàn hơn, thay vì chấm dứt cuộc đua hướng tới ASI.
Điểm đến không phải là cố định. Những điểm đến loại này là do con người chọn. Vũ khí hạt nhân, hóa học ozone và nhân bản người đều từng có những thời điểm chính phủ quyết định rằng một số trạng thái cuối cùng không đáng để chấp nhận rủi ro còn sót lại. Siêu trí tuệ nhân tạo thuộc danh sách đó vĩnh viễn. Siêu trí tuệ nhân tạo không thể bị con người kiểm soát.
Một khi bạn bỏ giả định về tính tất yếu, danh mục đầu tư trông khác đi. Vốn an toàn khan hiếm chi cho việc làm cho cuộc đua trở nên dễ quản lý là vốn không được chi để chấm dứt cuộc đua. Quản trị chỉ làm chậm biên giới để các phòng thí nghiệm "bắt kịp an toàn" vẫn coi việc xây dựng trí óc không thể kiểm soát là kế hoạch. Công việc alignment giả định chúng ta sẽ tạo ra một loài kế thừa rồi trói buộc nó là nhầm lẫn giữa một chương trình nghiên cứu với một chiến lược sinh tồn.
Họ ghi đúng sổ cái nhưng nhầm điểm đến.
Nghiên cứu sau khi dừng lại, không phải thay vì nó
Tôi không yêu cầu ai đốt bỏ lĩnh vực này. Công việc giúp hệ thống hiện tại minh bạch hơn, khó lạm dụng hơn hoặc dễ tắt hơn vẫn có thể có ý nghĩa. Sau khi dừng lại được xác minh trên con đường dẫn đến siêu trí tuệ, nghiên cứu kiểm soát AI mạnh vẫn có thể tiếp tục mà không có đồng hồ thương mại dán vào rủi ro tuyệt chủng. Thứ tự là toàn bộ lập luận.
Điều thất bại là coi alignment kỹ thuật là câu trả lời chính trong khi các phòng thí nghiệm biên giới vẫn đang mở rộng theo cùng lịch. Đó là đảo ngược vấn đề. Khi bạn không thể kiểm soát mặt tiêu cực, và mặt tiêu cực là tất cả mọi người, hành động có trách nhiệm là ngừng xây dựng thứ nguy hiểm đó. Siêu trí tuệ không thể kiểm soát được. AI hẹp vẫn tiếp tục phát triển. Loại hệ thống hẹp có khả năng vượt trí tuệ con người trên mọi lĩnh vực thì không.
Đồng ý với ưu tiên nguyên nhân dài hạn về rủi ro ASI. Không đồng ý rằng giải pháp là tăng ngân sách liên kết và một cuộc chạy đua được điều khiển cẩn thận. Giải pháp là ngăn chặn theo luật ràng buộc: không tạo ra vĩnh viễn. Siêu trí tuệ không thể bị con người kiểm soát. Một sự chậm lại tạm thời để an toàn bắt kịp là một canh bạc về thời gian, giả định ai đó sẽ phát minh ra cách kiểm soát một trí óc thông minh hơn người tạo ra nó đúng lúc, dưới áp lực cạnh tranh. Chưa ai có phương pháp đó. Không ở quy mô nhỏ. Cũng không ở quy mô lớn. Các phòng thí nghiệm hàng đầu công khai thừa nhận điều này.
Người ta thường xếp việc ngăn ngừa vào mục "tạm dừng". Tạm dừng chỉ là vài năm thở phào rồi tiếp tục. Đó không phải là yêu cầu. Chúng tôi muốn các chính phủ ngăn chặn siêu trí tuệ nhân tạo và tiếp tục ngăn chặn vĩnh viễn. Siêu trí tuệ không thể kiểm soát được. Hiệp ước là lối thoát khỏi cuộc chạy đua.
Tiền nên được dùng để làm gì thay vào đó
Chuyển hướng đống công việc alignment-for-ASI sang những hoạt động khiến việc không tạo ra trở nên có thể thực thi: thiết kế và xác minh hiệp ước, quản trị điện toán ở cấp chip có thể kiểm tra được, xây dựng lập luận công khai để giữ mục tiêu rõ ràng, công việc của người tố giác và minh bạch nhằm nâng cao chi phí cho những bước nhảy khả năng thầm lặng, cùng tổ chức chính trị để các nhà lập pháp lắng nghe từ cử tri thay vì chỉ từ các nhóm vận động hành lang của phòng lab. Tôi đã viết chi tiết về việc chuyển hướng tài trợ. Phiên bản ngắn gọn là ưu tiên. Tài trợ cho quyết định không xây dựng nó.
Longtermism được ghi nhận vì đã nêu tên một rủi ro mà hầu hết giới tinh hoa vẫn coi là khoa học viễn tưởng. Sự ghi nhận cho chẩn đoán không cố định luôn luôn cách chữa. Cùng một rủi ro. Kế hoạch khác. Ngăn chặn siêu trí tuệ theo luật. Giữ lại những công cụ giúp con người. Để giấc mơ về một vị thần được điều khiển cẩn thận trên kệ cho đến khi thế giới đồng ý không xây dựng một vị thần trong bóng tối.