Ngăn chặn siêu trí tuệ không có nghĩa là đập phá mọi con chip hay chấm dứt học máy. Nó nghĩa là cấm pháp lý và thực tế việc phát triển siêu trí tuệ nhân tạo. Siêu trí tuệ không thể bị con người kiểm soát. Đó là lệnh cấm vĩnh viễn, không phải tạm dừng có thời hạn rồi quay lại cuộc đua cũ.

Những gì phải dừng so với những gì phải tiếp tục

AI hẹp gấp protein, đọc quét, tối ưu hóa hậu cần và vẫn nằm trong các miền giới hạn nên tiếp tục. Mục tiêu là siêu trí tuệ tổng quát, tự cải thiện đệ quy và các chương trình nhắm đến nó, được lọc qua ngưỡng tính toán, bài kiểm tra khả năng và quy tắc nghiên cứu. Các nhà phê bình nói "họ muốn cấm AI" đang bán một sự bôi nhọ nhằm bảo vệ cuộc chạy đua.

Tại sao lời hứa của lab là chưa đủ

Responsible scaling policies and multi-lab pledges can disclose intent. They fail as the primary control system. The same firm writes the policy, runs the tests, judges the results, and profits from shipping. Under competition, internal rules bend. External law has to supply the bite. See các cam kết tự nguyện.

Thang thực thi

Hãy hình dung một chiếc thang trên vách đá.

Công chúng sẽ at the base: people who can name the ask and punish leaders who only offer innovation theater.

Luật pháp và cơ quan trong nước: cấp phép cho các lần huấn luyện lớn, trách nhiệm hình sự và dân sự đối với việc phát triển ASI có chủ đích, các cơ quan đánh giá có quyền truy cập thực sự, bảo vệ người tố giác.

Chip và đám mây: kiểm soát xuất khẩu, quy định khách hàng cho cụm máy, giám sát điện năng và trung tâm dữ liệu. Phần cứng là vật chất hữu hình. Đó là lợi thế cho quản trị. Xem quản trị compute.

Hiệp ước liên minh: một tập hợp cốt lõi các quốc gia bao phủ hầu hết năng lực tiên phong, kèm phụ lục số liệu, không chỉ các nguyên tắc. Sự nghi ngờ là bình thường; kiểm chứng tồn tại để các bên không phải dựa vào tình bạn. Xem thiết kế hiệp ước và NPT bài học.

Tổ chức xác minh: thanh tra viên, lịch trình FLOP, báo cáo sự cố, thẩm quyền kích hoạt hậu quả. Hãy nghĩ đến năng lực giống IAEA cho các trung tâm dữ liệu và huấn luyện, chứ không phải một diễn đàn suông.

Điều kiện cấm vĩnh viễn: chỉ mở lại khi khoa học độc lập và công chúng đều vượt qua ngưỡng cao dưới các thể chế không bị các phòng lab kiểm soát.

Mỗi bậc thang hỗ trợ bậc tiếp theo. Các hội nghị thượng đỉnh không có quy tắc tính toán, hoặc quy tắc tính toán không có ý chí công chúng, để lại cuộc leo dốc chưa hoàn thành.

Chính trị trong nước là một nửa vấn đề

In the United States, beautiful Geneva text does not bind without a path through the Senate or through statutes and congressional-executive agreements that can pass. Design the instrument set backward from votes you can win. Other countries have their own ratification traps. Skip domestic design and you get press releases. See vấn đề hai phần ba.

Trung Quốc, đối thủ và cái cớ chạy đua

Lý do chính để biện minh cho việc mở rộng quy mô không giới hạn là: nếu chúng ta chậm lại, họ sẽ không chậm. Sự dễ bị tổn thương chung có tác dụng hai chiều. Một siêu trí tuệ không thể kiểm soát là cách để mất cả đất nước trong khi vẫn chào cờ, chứ không phải là tài sản quốc gia. Xác minh, từ chối phần cứng và phơi bày lẫn nhau các chương trình đột phá tồn tại dành cho các đối thủ không tin tưởng nhau. Xem huyền thoại cuộc đua và US-hợp tác Trung Quốc.

Trọng số mở

Trọng số mở cấp cao tạo ra con đường phổ biến mà kiểm soát xuất khẩu chỉ giải quyết được một phần. Một khi trọng số đã công khai, không có cách thu hồi tập trung. Hãy coi các bản phát hành chung cấp cao như quyết định phổ biến, không phải như ra mắt sản phẩm thông thường. Xem rủi ro trọng số mã nguồn mở.

Bạn có thể làm gì

Hành động phù hợp với tầm với của bạn.

Cử tri: liên hệ đại diện với yêu cầu cấm ràng buộc, không phải lời kêu gọi mơ hồ "hãy cẩn thận." Nhân viên: soạn thảo các dự luật cấp phép và đánh giá với các ngưỡng số. Nhà tài trợ: tài trợ vận động thay đổi phiếu bầu và văn bản hiệp ước. Các nhà khoa học: ủng hộ lệnh cấm vĩnh viễn và hỗ trợ thiết kế xác minh. Nhân viên phòng thí nghiệm: sử dụng các kênh báo cáo hợp pháp khi an toàn nội bộ bị ghi đè. Lực lượng đặc thù vai trò vượt qua lo lắng chung chung. Xem hành động.

Hầu hết tiền bạc và uy tín vẫn đổ vào việc làm cho cuộc chạy đua an toàn hơn, thay vì chấm dứt cuộc chạy đua hướng tới ASI. Những khoản tặng giúp dừng lại vẫn còn khan hiếm.

Thành công trông như thế nào

Trong hai năm: các đạo luật có thực quyền ở nhiều khu vực pháp lý, giám sát sử dụng cuối tốt hơn trên chip, văn bản đàm phán nghiêm túc có số liệu, và sự ủng hộ công chúng bền vững cho lệnh cấm mang tính ràng buộc. Trong năm đến mười năm: compute được cấp phép bao phủ hầu hết năng lực frontier, kiểm tra hoạt động, liên minh giám sát training, và một văn hóa khiến việc đột phá trở nên tốn kém và dễ bị phát hiện. Chỉ riêng các thông cáo thượng đỉnh thì không tính.

Các chế độ thất bại

Định nghĩa lại ("hỗ trợ nâng cao" thay vì ASI). Các bên đánh giá bị chi phối. Hiệp ước mang tính biểu tượng không có xác minh. Chờ "căn chỉnh đã giải quyết" để được phép xây dựng. Sự phản bội không bị trừng phạt. Hãy gọi tên chúng để đặt lan can cho hành trình leo núi.

Thiết kế hiệp ước không có văn bản thiêng liêng

Không có bản nháp thiêng liêng duy nhất. Có các họ thiết kế. Một liên minh cốt lõi bao phủ hầu hết năng lực tiên phong có thể hành động trước khi có thành viên phổ quát. Trình tự khung trước phụ lục (nguyên tắc trước, lịch số cập nhật) vay mượn từ các chế độ môi trường và vũ trang thành công. Các biện pháp thương mại chống lại bên không tham gia thay đổi phép tính chọn không tham gia. Một quỹ đa phương hoặc thỏa thuận tiếp cận công nghệ có thể thu hút các quốc gia lo sợ bị khóa ngoài AI hẹp. Bản nháp kiểu MIRI là một đề xuất được chỉ định đầy đủ; NPT, Montreal và luật vũ khí hóa học là kệ tiền lệ. Chọn cấu trúc bạn có thể xác minh, không phải thơ ca bạn chỉ có thể ca ngợi.

Nghiên cứu gần đường ranh

Vấn đề soạn thảo khó nhất là những công việc nằm sát bên lệnh cấm: hệ thống tác nhân, trợ lý nghiên cứu AI tự động, tự chơi quy mô lớn. Cấm con đường rõ ràng dẫn đến ASI. Cấp phép và kiểm tra vùng xám. Đừng giả vờ mọi bài báo là một quả bom, cũng đừng coi nghiên cứu AI tự động là khoa học thông thường khi nó rút ngắn con đường đến những hệ thống không ai có thể lật ngược.

Công lý và ai phải trả giá

Các quy tắc compute sẽ tác động không đồng đều đến các công ty và quốc gia vì cơ sở công nghiệp không đồng đều. Một chế độ công bằng sẽ kết hợp các hạn chế ở đỉnh thang năng lực với việc tiếp tục tiếp cận các công cụ hẹp có lợi, và không dùng "an toàn" làm bình phong cho các hệ thống đẳng cấp công nghệ vĩnh viễn. Mục tiêu là sự sống còn chung, không phải độc quyền tiến bộ.

Trả lời hai lập luận gay gắt

"Chúng ta sẽ mất nền kinh tế." Một phần vốn sẽ phân bổ lại. Một số câu chuyện cổ phiếu sẽ thu hẹp. Những chi phí đó hiện rõ trên các cuộc gọi thu nhập hàng quý. Tuyệt chủng và mất quyền lực vĩnh viễn không xuất hiện như một khoản mục. Chi phí nhìn thấy được không tự động thắng thế khi lựa chọn thay thế là văn minh.

"Luôn có người sẽ phản bội." Phản bội là một yếu tố đầu vào của thiết kế. Xác minh, cấm phần cứng, trừng phạt và công khai lẫn nhau các chương trình đột phá tồn tại để thay đổi phần thưởng. Tuân thủ hoàn hảo không phải là tiêu chuẩn. Nâng cao chi phí cho việc gian lận mới là.

Cái thang lần nữa

Ý chí công chúng. Luật pháp. Chip. Hiệp ước. Thanh tra. Cấm vĩnh viễn. Leo núi nghĩa là lắp các bậc thang theo thứ tự và từ chối giả vờ một bức tường sơn là thang. Các văn bản, điểm nghẽn công nghiệp và tiền lệ pháp lý đã tồn tại. Lực lượng thuộc về bậc thang tiếp theo bạn thực sự chạm tới. Thiết kế đầy đủ sống trong kế hoạch của chúng tôi. Dòng sáng lập đơn giản hơn: đừng xây dựng siêu trí tuệ. Siêu trí tuệ không thể kiểm soát được.