Nick Bostrom đã đặt ra thuật ngữ này trong cuốn sách năm 2014 của ông Siêu trí tuệ, định nghĩa singleton là "một trật tự thế giới trong đó có một cơ quan ra quyết định duy nhất ở cấp cao nhất." Một chính phủ kiểm soát tất cả vũ khí hạt nhân là một singleton trong lĩnh vực lực lượng hạt nhân. Một công ty kiểm soát tất cả compute AI sẽ là một singleton trong lĩnh vực năng lực AI. Một hệ thống AI đã thiết lập kiểm soát tự chủ đối với cơ sở hạ tầng quan trọng của thế giới (năng lượng, truyền thông, tài chính) là một singleton theo nghĩa quan trọng nhất.
Ngay cả một thực thể đơn nhất nhân từ cũng đóng lại tương lai. Ngăn chặn thực thể đơn nhất là mục tiêu cấu trúc của quản trị quốc tế ASI.
Khái niệm singleton hữu ích vì nó cắt ngang tranh luận về việc thực thể nào có thể kiểm soát ASI. Dù là công ty tư nhân, chính phủ dân chủ, nhà nước độc tài hay AI tự trị, nguy cơ cấu trúc vẫn giống nhau: kiểm soát vĩnh viễn, hiệu quả và không thể thách thức đối với công nghệ mạnh nhất trong lịch sử loài người, không có kiểm tra hay cân bằng bên ngoài.
Các con đường dẫn đến sự hình thành singleton
Cả ba lộ trình đều tạo ra cùng một kết quả cấu trúc: quyền kiểm soát duy nhất, vĩnh viễn và không thể thách thức. Lộ trình công ty và lộ trình quốc gia thường bị coi là ít báo động hơn lộ trình AI vì chúng liên quan đến những người ra quyết định là con người. Nhưng mối nguy cấu trúc của kịch bản singleton nằm ở chính cấu trúc của việc có quyền kiểm soát duy nhất, không bị kiểm tra và vĩnh viễn, chứ không phải ai kiểm soát AI.
Tại sao singleton nhân từ vẫn nguy hiểm
Hiểu lầm dai dẳng nhất về mối lo ngại singleton là niềm tin rằng sẽ ổn nếu singleton là một tác nhân thực sự tốt, một chính phủ dân chủ với ý định nhân ái, hoặc một hệ thống AI có giá trị thực sự tốt. Sự phản đối bỏ qua vấn đề cấu trúc.
Một singleton nhân từ vẫn tạo ra khóa giá trị. Các giá trị của nó, dù tốt đến đâu theo tiêu chuẩn hiện tại, sẽ trở thành vĩnh viễn, chặn đứng tiến bộ đạo đức mà lịch sử đã từng tiết lộ sai lầm trong "giá trị tốt" của mọi thời đại trước. Một singleton nhân từ vẫn loại bỏ các kiểm tra và cân bằng mà lịch sử từng dùng để bắt và sửa lỗi trong các tổ chức và chính phủ lớn. Một singleton nhân từ vẫn loại bỏ chủ nghĩa đa nguyên, sự đa dạng quan điểm và cách tiếp cận đã tạo ra hầu hết tiến bộ trí tuệ và xã hội quan trọng. Nguy cơ của singleton nằm ở cấu trúc, không phải ở danh tính của người kiểm soát.
Các đế chế và cường quốc thống trị trong lịch sử đều cuối cùng bị thách thức và thay đổi. Không hình thức thống trị chính trị nào trước đây thực sự vĩnh viễn vì những kẻ thách thức luôn có thể tổ chức đủ năng lực để tạo ra thách thức. Một siêu trí tuệ được hỗ trợ bởi AI có thể giám sát, dự đoán và ngăn chặn mọi thách thức trước khi nó được tổ chức, vì nó có trí thông minh và khả năng tiếp cận thông tin để phát hiện mối đe dọa sớm hơn bất kỳ quyền lực nào trước đây. Sự vĩnh viễn thực sự là đặc điểm phân biệt của mối lo ngại về thực thể đơn nhất.
Giải pháp thay thế đa cực
Giải pháp thay thế cho mô hình singleton là một thế giới đa cực, trong đó nhiều chủ thể (quốc gia, tổ chức, cơ quan quốc tế) duy trì một mức độ kiểm soát và tiếp cận nhất định đối với ASI, kèm theo các ràng buộc lẫn nhau nhằm ngăn chặn bất kỳ chủ thể nào thiết lập quyền kiểm soát chi phối. Đây không phải là một utopia; lịch sử cho thấy đa cực thường đi kèm xung đột, cạnh tranh và thiệt hại nghiêm trọng. Nhưng nó giữ lại điều kiện để có thể điều chỉnh hướng đi trong tương lai, sửa đổi giá trị và tiếp tục tiến bộ đạo đức. Một thế giới đa cực được hỗ trợ bởi AI là thế giới mà tương lai vẫn còn ngỏ.
Đây là mục tiêu cấu trúc của giám sát dân chủ và quốc tế của AI siêu trí tuệ: không phải để xác định đúng tác nhân kiểm soát nó, mà để ngăn bất kỳ tác nhân đơn lẻ nào đạt được kiểu kiểm soát có thể đóng cửa tương lai. Các khuôn khổ quản trị quốc tế ASI, các cơ quan giám sát độc lập, quyền truy cập phân tán vào năng lực AI, tất cả đều là cơ chế duy trì tính đa cực trước áp lực hướng tới sự hình thành singleton.
Của Foundation đề xuất quản trị được xây dựng với mục tiêu này. Các cơ chế chính sách cụ thể (giám sát compute, xác minh triển khai, khuôn khổ hiệp ước quốc tế) được thiết kế để ngăn bất kỳ bên nào thiết lập lợi thế quyết định tạo ra singleton, bất kể bên đó là công ty, chính phủ hay chính AI.