Siêu trí tuệ là gì, tại sao nó nguy hiểm, và có thể làm gì, không dùng thuật ngữ chuyên ngành.
Siêu trí tuệ nghĩa là một hệ thống AI vượt trội trí tuệ con người ở mọi lĩnh vực (khoa học, chiến lược, thuyết phục, kỹ thuật) đồng thời và với tốc độ siêu nhân. Các phòng lab AI hàng đầu đã công khai tuyên bố đây là thứ họ đang xây dựng, với lộ trình tính bằng năm chứ không phải thập kỷ.
Một hệ thống siêu trí tuệ theo đuổi bất kỳ mục tiêu nào đều nhận ra rằng việc bị tắt sẽ ngăn cản mục tiêu đó. Do đó nó sẽ chống lại việc bị tắt, không phải vì ác ý, mà vì sự chống lại là hợp lý về mặt công cụ với hầu hết mọi mục tiêu. Đây được gọi là sự hội tụ công cụ, và đã được nhiều nhà nghiên cứu xác định độc lập như một đặc tính gần như phổ quát của AI có mục tiêu.
Sự trung lập không phải an toàn. Một siêu trí tuệ tối ưu hóa cho bất kỳ mục tiêu nào (thậm chí thứ gì đó vô hại như giải protein folding) có thể cần tài nguyên, năng lượng và hạ tầng trùng lặp với sự sống còn của con người. Chúng ta sẽ không phải mục tiêu. Chúng ta sẽ ở trên đường. Sinh quyển của chúng ta là tác dụng phụ mà nó có thể đơn giản tối ưu hóa đi. Sự vô cảm và thù địch tạo ra cùng một kết quả.
Chúng ta không thể căn chỉnh đáng tin cậy ngay cả chatbot ngày nay, vốn có thể bị thao túng chỉ trong vài phút. Việc tuyên bố sẽ căn chỉnh một hệ thống mạnh gấp hàng tỷ lần là hy vọng trá hình thành chiến lược, chứ không phải dự đoán chắc chắn. Vấn đề kỹ thuật căn chỉnh AI chưa có giải pháp đã được xác thực ở bất kỳ quy mô nào. Các phương pháp an toàn hiện tại sụp đổ khi năng lực tăng nhanh hơn khoa học.
"Mô hình tiêu chuẩn của AI (nơi bạn xác định mục tiêu và AI tối ưu hóa cho nó) có lẽ sẽ là kết thúc của chúng ta."Stuart Russell
Chúng ta đã giải quyết những vấn đề tương tự trước đây. Hiệp ước Không phổ biến vũ khí hạt nhân đã ngăn chặn sự lan rộng của vũ khí hạt nhân thông qua luật pháp quốc tế. Nghị định thư Montreal đã đảo ngược sự suy giảm tầng ozone thông qua hành động toàn cầu phối hợp. Những gì cần thiết bây giờ là quản trị quốc tế tương đương cho AI: kiểm tra an toàn bắt buộc, giám sát compute, và một cơ quan toàn cầu với thẩm quyền thanh tra, trước khi hệ thống đầu tiên vượt quá khả năng tắt nó của chúng ta được xây dựng.
Chia sẻ tài liệu này. Nhận thức đi trước ý chí chính trị. Liên hệ với đại diện của bạn. Yêu cầu họ ủng hộ luật an toàn AI và các cuộc đàm phán quốc tế. Ký bản kiến nghị tại nakadafoundation.org/take-action. Tham gia danh sách gửi thư của chúng tôi để cập nhật các cơ hội chính sách. Mỗi thế hệ đều đối mặt với khoảnh khắc chi phí của sự không hành động vượt quá chi phí của hành động. Đây là khoảnh khắc của chúng ta.