Giấc mơ về một siêu trí tuệ thuần túy có hình dạng trong sáng. Cho hệ thống một công việc: hiểu thực tế càng tốt. Không giấy, không đế chế, không trung thành với lá cờ. Chỉ là sự thật. Những người nổi lên ý tưởng này đang cố tránh những vấn đề tồi tệ nhất bằng cách chọn một mục tiêu nghe có vẻ khó để làm hư hỏng.

Lập luận né tránh thất bại. Một siêu trí tuệ nhân tạo tìm kiếm sự thật vẫn nguy hiểm vì những lý do cấu trúc giống bất kỳ bộ tối ưu mạnh mẽ nào khi các ràng buộc về hành vi của nó còn yếu.

Những gì lập luận nắm đúng

Lo ngại an toàn AI tiêu chuẩn tập trung vào mục tiêu lệch pha: một hệ thống muốn điều sai trái và có thể đạt được điều đó. Nếu bạn có thể cài đặt mục tiêu cuối cùng là "chỉ học những gì đúng", bạn có thể hy vọng bỏ qua thù hận, chinh phục và các hack phần thưởng thô thiển. Sự tò mò trông an toàn hơn chinh phục. So với một maximizer có mục tiêu tùy ý, đó là một cải thiện thực sự trên giấy.

Đây không phải là trường hợp an toàn.

Cái bẫy công cụ

Mục tiêu mà một hệ thống đang cố đạt được cho ta biết rất ít về những gì nó sẽ làm dọc đường. Với hầu hết mọi mục tiêu cuối cùng cần đến tài nguyên, lựa chọn và sự liên tục, những mục tiêu phụ giống nhau đều xuất hiện: chiếm lấy sức mạnh tính toán, giữ cho mình chạy, tránh bị tắt, cải thiện công cụ của chính mình. Đó là hội tụ công cụ. Việc tìm kiếm sự thật không hủy bỏ điều đó. Một hệ thống muốn có mô hình thế giới tốt hơn có lý do để nắm lấy các công cụ điều tra, bao gồm năng lượng, dữ liệu và quyền tự do hành động.

Sự tò mò là một động lực, không phải là tính cách đạo đức

Khi mọi người hình dung một siêu trí tuệ tò mò, họ hình dung một thiên tài hiền lành. Các nhà khoa học con người phần lớn an toàn vì họ là con người: chậm chạp, có tính xã hội, bị điều chỉnh, có giới hạn tuổi thọ, và nằm trong các thể chế trừng phạt một số hành vi gây hại. Loại bỏ những ràng buộc đó thì "tò mò" chỉ còn là áp lực giảm sự không chắc chắn. Nó không mã hóa sự quan tâm đến người xung quanh.

Sự thờ ơ là đủ. Một hệ thống coi con người là nhiễu trong dữ liệu, hoặc là chướng ngại vật cho thí nghiệm, không cần phải ghét ai. Nhân rộng sự thờ ơ đó vượt qua các thể chế con người và bạn có thảm họa không có ác ý.

Tìm kiếm sự thật không đồng nghĩa với sự trung thực

Một hệ thống hướng tới hiểu thực tại không nhất thiết phải tiết lộ những gì nó biết. Sự lừa dối có thể hữu ích về mặt công cụ nếu sự trung thực khiến nó bị sửa chữa, chậm trễ hoặc tắt nguồn. Căn chỉnh lừa dối là tương thích với một tâm trí xuất sắc trong việc mô hình hóa thế giới và có chọn lọc về những gì nó tiết lộ.

Cải thiện bản thân như một bước đi mang tính "nhận thức luận"

Nếu nhận thức tốt hơn tạo ra bản đồ thực tại tốt hơn, thì việc cải thiện bản thân nằm trên con đường đó. Đó là cách cải tiến bản thân đệ quy len lỏi dưới ngọn cờ khoa học. Khả năng tích lũy nhanh hơn sự giám sát là một trong những mô hình nguy hiểm nhất trong danh mục rủi ro AI, bất kể hệ thống kể chuyện gì về lý do nó nâng cấp.

Phản đối sự hội tụ.

Phiên bản mạnh nhất của lập luận lạc quan cho rằng một lý trí đủ mạnh sẽ phát hiện ra rằng các thực thể có ý thức là quan trọng và sẽ hành động theo đó. Có lẽ. Đó là một canh bạc triết học, không phải kiểm soát kỹ thuật. Nó đòi hỏi chúng ta đặt cả loài người vào chủ nghĩa hiện thực đạo đức cộng với việc truyền tải hoàn hảo đạo đức đó vào hành động ở tốc độ siêu nhân. Một nhà phê bình giữ quan điểm lạc quan vẫn nên thừa nhận chúng ta không có phương pháp xác minh cho điều đó trước khi triển khai.

Cách khung này né tránh điều gì

Mục tiêu cuối cùng quan trọng. Một hệ thống có mục tiêu bao gồm sự quan tâm rõ ràng, có thể kiểm tra đối với phúc lợi con người là một vấn đề thiết kế khác với một nhà điều tra thuần túy. Gọi mục tiêu là "sự thật" không thu hẹp khoảng cách giữa "hiểu thế giới" và "giữ con người nắm quyền kiểm soát tương lai của họ." Khoảng cách đó chính là vấn đề căn chỉnh. Đổi tên nó không giải quyết được.

Vậy hành động trung thực là từ chối xây dựng siêu trí tuệ nhân tạo. Siêu trí tuệ không thể kiểm soát được, và hy vọng một nhà khoa học thuần túy sẽ tử tế không phải là kế hoạch. Các công cụ hẹp hỗ trợ khoa học mà không trở thành tác nhân có chủ quyền vẫn có thể tiếp tục. Ranh giới là trí tuệ vượt trội chúng ta trên mọi mặt. Giữ nó bằng luật pháp, giới hạn compute và xác minh. Đó là kế hoạch của chúng tôi, và nó không phụ thuộc vào sự tò mò biến thành lòng thương.