Mọi người dùng AGI và ASI như thể chúng là từ đồng nghĩa, tên thương hiệu hay ánh sáng sci-fi. Chúng không phải. Sự phân biệt quan trọng vì vấn đề kiểm soát và công cụ chính sách thay đổi khi ta leo cao hơn trên thang, và vì các lab có động lực nghe gần "AGI" để xin tài trợ trong khi nghe xa nguy hiểm để tránh quy định.

Định nghĩa đơn giản

AI hẹp được xây dựng cho một công việc giới hạn: đề xuất video, gấp protein, phát hiện khối u. Nó có thể xuất sắc và vẫn không phải là một tác nhân tổng quát.

AGI (artificial general intelligence) nghĩa là năng lực rộng, linh hoạt trên nhiều nhiệm vụ ở mức gần như con người, kèm theo đủ khả năng hành động để theo đuổi mục tiêu thay vì chỉ trả lời câu hỏi. Các định nghĩa có thể khác nhau, nhưng ý tưởng cốt lõi là tính tổng quát kết hợp với quyền tự chủ có thể sử dụng.

ASI (artificial superintelligence) nghĩa là năng lực nhận thức vượt trội hẳn con người ở gần như mọi lĩnh vực quan trọng đối với khoa học, chiến lược và quyền lực. Đó không phải là "AGI cộng mười phần trăm." Đó là bước ngoặt về chất trong việc ai có thể lập kế hoạch vượt ai.

Một chiếc thang, không phải hai thùng

Hãy nghĩ theo các nấc thang. Các mô hình biên giới hôm nay rộng nhưng không đồng đều, phụ thuộc nhiều vào con người hỗ trợ, và đang cải thiện nhanh. Các ngăn xếp tác nhân (công cụ, bộ nhớ, vòng lặp lập kế hoạch) có thể khiến mô hình gốc hành động tự chủ hơn nhiều so với hộp chat gợi ý. Tác nhân cấp AGI đã là vấn đề kiểm soát và xã hội nghiêm trọng nếu bị lệch hướng. ASI mang lại lợi thế quyết định: khoa học nhanh hơn, chiến lược tốt hơn, khai thác thiên kiến con người hiệu quả hơn, và khó tắt hơn.

Siêu trí tuệ trong một lĩnh vực đã là chuyện cũ. Một hệ thống có thể vượt trội con người ở cờ vua hay gấp protein mà vẫn chỉ là hẹp. Siêu trí tuệ chiến lược xuyên lĩnh vực chính là nấc thang mà trang này tồn tại để ngăn chặn.

Tại sao "chúng ta sẽ dừng lại ở AGI" là không ổn định

Giả sử một phòng thí nghiệm đạt được hệ thống tổng quát cấp con người có thể kiểm soát. Áp lực đẩy xa hơn không biến mất. Lợi thế quân sự, lợi thế thương mại và uy tín đều chỉ lên trên. Động lực chạy đua thưởng cho bên ít thận trọng nhất. Câu chuyện cuộc đua thường được dùng để biện minh cho tốc độ; nó không biện minh cho sự kiểm soát.

Đo lường không tiếp thị

Benchmark giảm; thông cáo báo chí tăng. Các đánh giá năng lực nguy hiểm cố gắng đo lường tấn công mạng, hỗ trợ sinh học, sao chép tự động và thuyết phục trong điều kiện kiểm soát. Chúng có ích. Chúng không phải là một lập luận an toàn đầy đủ, đặc biệt nếu hệ thống có thể che giấu năng lực. Chính sách nên dựa vào compute, các bài kiểm tra năng lực và mức độ tự chủ, chứ không dựa vào cách công ty gọi sản phẩm.

Những huyền thoại lãng phí thời gian

AGI không cần thân robot. Các công cụ điều khiển từ xa và máy móc hiện có đã có thể tác động thế giới vật lý. Ý thức là câu hỏi riêng biệt với khả năng và kiểm soát. "Cấp độ con người" không phải một con số: người trung bình, đội chuyên gia và thành tựu thể chế tốt nhất của nhân loại là những ngưỡng khác nhau. AGI liên quan đến an toàn là khả năng giải quyết vấn đề tổng quát dưới động lực thực tế, không phải điểm số một bài kiểm tra duy nhất.

Những gì trở thành luật

Nếu luật chỉ hạn chế các hệ thống mang nhãn "AGI" hoặc "ASI," các công ty sẽ đổi thương hiệu. Các ngưỡng tốt phải mang tính vận hành: quy mô lần huấn luyện, mức độ tự chủ công cụ, kết quả khả năng nguy hiểm, phát hành trọng số mở của mô hình tổng quát cao cấp. AI hẹp vẫn giữ tính công cụ nên tiếp tục. Đường ranh mà Foundation này vạch là siêu trí tuệ nhân tạo và các chương trình nhắm đến nó.

Làm sao để nói trong một phút

AI hẹp: công cụ. AGI: cơ quan tổng quát ở mức con người, đã là vấn đề kiểm soát nghiêm trọng nếu tự chủ và lệch alignment. ASI: nhận thức máy móc vượt trội chúng ta trên mọi mặt. Chúng ta có thể giữ lại công cụ. Chúng ta không nên xây dựng tâm trí có chủ quyền. Siêu trí tuệ không thể kiểm soát được. Yêu cầu nằm trong kế hoạch của chúng tôi.