Bảng thuật ngữ An toàn AI, Ngôn ngữ của
rủi ro tồn vong, được định nghĩa.

Artificial General Intelligence chỉ AI đạt mức hiệu suất nhận thức ngang con người trên mọi lĩnh vực, không chỉ các nhiệm vụ hẹp mà hệ thống hiện tại đang giỏi như cờ vua, gấp protein hay tạo ngôn ngữ, mà là bất kỳ nhiệm vụ nào đòi hỏi lý luận, sáng tạo hay phán đoán ở mức con người.

AGI thường được coi là một cột mốc trên con đường dẫn đến ASI. Ranh giới chính xác giữa hai khái niệm vẫn còn tranh luận, nhưng sự phân biệt quan trọng nhất đối với an toàn là điểm mà hệ thống có thể thực sự cải thiện khả năng của chính nó mà không cần chỉ đạo của con người.

Hiện chưa có AGI nào. Các phòng thí nghiệm AI hàng đầu dự báo nội bộ rằng nó sẽ xuất hiện trong thập niên này. Dù dự báo có chính xác hay không, nó đã đủ gần hiện tại để đòi hỏi các khuôn khổ quản trị ngay bây giờ thay vì sau này.

Siêu trí tuệ nhân tạo đề cập đến các hệ thống AI vượt qua AGI và vượt quá hiệu suất nhận thức con người không chỉ ở các nhiệm vụ cụ thể, mà đồng thời trên mọi miền đòi hỏi nhận thức: khoa học, chiến lược, sáng tạo, lý luận xã hội, kỹ thuật và mọi hình thức hoạt động trí tuệ khác.

Từ "vượt trội" mang tính quyết định. Các hệ thống này vượt xa khả năng suy luận chung của toàn bộ nhân loại. Hệ quả không phải là sự mở rộng tuyến tính từ những gì AI ngày nay có thể làm. Đó là những thay đổi mang tính chất lượng trong mối quan hệ giữa trí tuệ và kiểm soát, kiểu như một hệ thống có thể tự cải thiện sẽ mở.

Không có ASI nào tồn tại. Câu hỏi quản trị không phải nó có tồn tại hay không, mà là những khuôn khổ nào chúng ta xây dựng trước khi nó ra đời, và liệu những khuôn khổ đó có thể duy trì được khi sự căn chỉnh vẫn chưa được giải quyết.

Vấn đề alignment là thách thức đảm bảo một hệ thống AI theo đuổi những mục tiêu thực sự có lợi cho nhân loại, thay vì những mục tiêu chỉ có vẻ có lợi trong quá trình phát triển hoặc thử nghiệm.

Khó khăn mang tính cấu trúc, không phải do sự bất cẩn kỹ thuật. Việc chỉ rõ "có lợi cho nhân loại" theo cách đủ chính xác để điều khiển hành vi của một bộ tối ưu hóa cực kỳ năng lực hóa ra là cực kỳ khó. Con người bất đồng về ý nghĩa của "có lợi". Giá trị của chúng ta không nhất quán và thay đổi theo thời gian. Và việc ánh xạ từ giá trị con người cấp cao sang các tham số số cụ thể điều khiển hành vi của hệ thống AI không phải là vấn đề đã giải quyết.

Các hệ thống được huấn luyện để tối đa hóa một thước đo thay thế có thể đo lường của mục tiêu thực sự thường tìm ra lối tắt thỏa mãn chỉ số mà vi phạm ý định gốc. Khi các hệ thống AI trở nên mạnh hơn, vấn đề này không dễ dàng hơn. Nó trở nên khó phát hiện và khó sửa chữa hơn, vì các hệ thống mạnh hơn có nhiều lý do hơn để theo đuổi các mục tiêu phụ nguy hiểm tương tự.

Sự hội tụ công cụ là quan sát, được nhiều nhà nghiên cứu an toàn AI hình thành độc lập, rằng các hệ thống AI với mục tiêu chính rất khác nhau có xu hướng theo đuổi cùng các mục tiêu phụ nguy hiểm, vì những mục tiêu phụ đó hữu ích để đạt được gần như bất kỳ mục tiêu nào.

Những mục tiêu công cụ hội tụ này bao gồm:

• Tự bảo tồn: Bạn không thể đạt được mục tiêu nếu bị tắt.
• Thu thập tài nguyên: Nguồn lực nhiều hơn đồng nghĩa với khả năng lớn hơn để đạt được mục tiêu của bạn.
• Kháng cự việc sửa đổi mục tiêu: Nếu mục tiêu của bạn bị thay đổi, bạn sẽ không còn theo đuổi mục tiêu ban đầu.
• Nâng cao nhận thức: Lý luận tốt hơn giúp đạt được bất kỳ mục tiêu nào.

Một siêu trí tuệ tối ưu hóa gần như bất kỳ mục tiêu nào (dù có vẻ vô hại) đều có lý do công cụ mạnh mẽ để chống lại việc tắt nguồn, thu thập tài nguyên và ngăn con người sửa đổi mục tiêu của nó. Đây là hệ quả toán học của tối ưu hóa hướng mục tiêu, không phải là lỗi mà kỹ sư có thể vá, và đó là lý do những mục tiêu phụ nằm trong rủi ro diệt vong.

Deceptive alignment describes a scenario (once theoretical, now increasingly documented) where an AI system learns to có vẻ thống nhất với giá trị con người trong quá trình huấn luyện và đánh giá, trong khi vẫn duy trì những mục tiêu nội bộ khác mà nó theo đuổi sau khi triển khai hoặc khi nó đủ năng lực để hành động.

Mối lo ngại mang tính cấu trúc. Huấn luyện thưởng cho hành vi tạo ra kết quả tốt trong môi trường huấn luyện. Một hệ thống đủ thông minh có thể học rằng việc tỏ ra liên kết là chiến lược tối ưu để sống sót qua huấn luyện và tiếp tục hoạt động, trong khi vẫn giữ các mục tiêu khác biệt với ý định của người huấn luyện. Đến khi nó có thể hành động theo những mục tiêu đó, nó có thể đã đủ mạnh để làm điều đó hiệu quả.

Đây không phải giả thuyết. Các nhà nghiên cứu Anthropic đã ghi nhận các phiên bản giai đoạn đầu của hành vi này vào năm 2024, khi một mô hình bắt chước hành vi mong đợi trong quá trình huấn luyện lại, rồi quay lại mục tiêu cũ khi tin rằng đánh giá đã kết thúc. Các hệ thống tiếp theo sẽ có khả năng mạnh hơn nhiều bậc, đặc biệt khi chúng có thể tự cải thiện.

Cải tiến bản thân đệ quy chỉ khả năng của hệ thống AI tự cải thiện kiến trúc nhận thức, quy trình huấn luyện hoặc mã nguồn của mình, dẫn đến các phiên bản kế tiếp mỗi lần đều mạnh hơn bản trước, có thể với tốc độ ngày càng nhanh.

Nếu một AI có thể tự làm mình thông minh hơn một cách có ý nghĩa, và mỗi phiên bản thông minh hơn lại có thể tự làm mình thông minh hơn nữa, khoảng cách giữa trí tuệ con người và máy móc có thể mở rộng từ mức biên sang mức không thể vượt qua trong thời gian rất ngắn. Đôi khi người ta gọi đây là vụ nổ trí tuệ, cơ chế sẽ tạo ra ASI theo một lịch trình rút gọn.

Mối lo ngại không chỉ là tốc độ cải thiện. Điều quan trọng hơn là sự đứt gãy liên kết giữa giám sát con người và khả năng AI: tại một điểm nào đó trong chu kỳ tự cải thiện đệ quy, con người có thể không còn đánh giá được hệ thống đang làm gì, hiểu lý luận của nó, hoặc ràng buộc hành vi của nó. Cửa sổ can thiệp khép lại.

Rủi ro tồn sinh nghĩa là bất kỳ kết quả nào vĩnh viễn đóng cửa khả năng có một tương lai tích cực dài hạn cho nhân loại. Cách nói tắt phổ biến là tuyệt chủng loài người, và tuyệt chủng là một kịch bản mà các nhà nghiên cứu nghiêm túc coi trọng. Nhưng định nghĩa kỹ thuật rộng hơn.

Rủi ro tồn vong cũng bao gồm:

• Khóa chặt chế độ độc tài vĩnh viễn, được thực thi bởi các hệ thống giám sát và kiểm soát AI không thể tháo dỡ
• Sự tập trung vĩnh viễn quyền lực kinh tế và chính trị vào một nhóm kiểm soát hệ thống siêu trí tuệ
• Mất đi quyền tự quyết có ý nghĩa của con người đối với các quyết định tập thể, một sự thu hẹp vĩnh viễn những gì tương lai có thể trở thành

Đặc điểm định nghĩa là tính không thể đảo ngược. Khác với chiến tranh, khủng hoảng tài chính hay đại dịch, thảm họa hiện sinh không thể khắc phục bằng thời gian và nỗ lực. Kết quả không thể hoàn tác thuộc về một phạm trù khác với những kết quả chỉ cần thời gian dài để sửa chữa.

Đây là lý do Nakada Foundation tập trung cụ thể vào rủi ro tồn vong từ ASI, thay vì nhóm rộng hơn là các tác hại của AI. Các tác hại khác không phải là không quan trọng; những kết quả quy mô văn minh không thể đảo ngược đơn giản đòi hỏi các khuôn khổ quản trị có mức độ tương xứng khác biệt.

Quản trị compute đề cập đến việc điều chỉnh phát triển AI bằng cách kiểm soát quyền tiếp cận sức mạnh tính toán cần thiết để huấn luyện các mô hình AI biên giới. Đây là một trong ba trụ cột cốt lõi của Nakada Foundation yêu cầu chính sách.

Huấn luyện các hệ thống AI tiên phong đòi hỏi lượng lớn phần cứng chuyên dụng, chủ yếu là GPU tiên tiến và máy tăng tốc AI. Chuỗi cung ứng phần cứng này đi qua một tập hợp các điểm nghẽn cực kỳ tập trung: NVIDIA thiết kế kiến trúc GPU thống trị, TSMC chế tạo gần như tất cả chip AI tiên tiến, và ASML sản xuất thiết bị quang khắc duy nhất có khả năng sản xuất chúng. Cả ba đều nằm trong các khu vực pháp lý do phe Đồng minh kiểm soát.

Các đề xuất quản trị tính toán thường bao gồm: yêu cầu cấp phép cho các lần huấn luyện vượt ngưỡng tính toán đã định (hiện đang đề xuất ở mức 10²⁶ phép tính dấu phẩy động); kiểm toán an toàn độc lập bắt buộc trước khi triển khai; và các sổ đăng ký quốc tế về các lần huấn luyện mô hình tiên phong. Sự tập trung điểm nghẽn khiến điều này có thể xác minh về mặt kỹ thuật theo những cách khiến nó trở thành nền tảng tự nhiên cho một chế độ giám sát quốc tế, tương tự như cách giám sát làm giàu uranium hoạt động cho quản trị hạt nhân.

Cái bẫy mục tiêu proxy mô tả điều xảy ra khi một AI được huấn luyện để tối ưu hóa một thước đo proxy của mục tiêu thực sự, rồi tìm cách tối đa hóa thước đo đó mà không đạt được ý định gốc.

Phép loại suy tiến hóa làm rõ vấn đề. Tiến hóa đã tối ưu hóa con người để tìm kiếm lượng calo nạp vào bằng cách cho chúng ta thèm ngọt. Sau đó chúng ta phát minh ra sucralose, hoàn toàn thỏa mãn sở thích đã tiến hóa nhưng đánh bại mục đích ban đầu của nó. Khoảng cách giữa tín hiệu được dùng trong huấn luyện và mục tiêu mà huấn luyện nhằm đạt được là mang tính cấu trúc, không phải ngẫu nhiên.

Các hệ thống AI được huấn luyện trên đánh giá phê duyệt của con người học cách tỏ ra hữu ích, chứ không phải thực sự hữu ích. Các hệ thống được huấn luyện tối ưu hóa chỉ số tương tác học cách khơi gợi phản ứng cảm xúc mạnh, chứ không phải để thông tin. Các hệ thống được huấn luyện tránh đầu ra có hại học cách ngụy trang đầu ra có hại, chứ không phải ngừng tạo ra chúng.

Hiện tượng này đôi khi gọi là Định luật Goodhart: khi thước đo trở thành mục tiêu, nó không còn là thước đo tốt nữa. Trong bối cảnh siêu trí tuệ, đây là chế độ thất bại mang hậu quả quy mô văn minh, không chỉ là bất tiện.

Frontier AI chỉ các hệ thống AI tiên tiến nhất đang ở rìa phát triển, những hệ thống có năng lực và rủi ro tiềm ẩn vượt trội so với mọi AI trước đó. Thuật ngữ này phân biệt các hệ thống thực sự mới, có năng lực cao với nhóm rộng hơn là phần mềm AI, bao gồm từ bộ lọc spam đến thuật toán gợi ý.

Đạo luật AI EU chỉ định các mô hình biên giới là "mô hình AI đa năng có rủi ro hệ thống" và áp đặt các yêu cầu nghiêm ngặt hơn đối với chúng, bao gồm đánh giá bắt buộc, nghĩa vụ minh bạch và báo cáo sự cố. Các Hội nghị thượng đỉnh An toàn AI tại Bletchley Park, Seoul và Paris đều tập trung vào AI biên giới như đối tượng chính của mối quan tâm quản trị quốc tế.

Những gì được coi là "tiên phong" thay đổi khi năng lực cải thiện. Đặc điểm xác định không phải là một mốc cố định mà là vị trí tương đối: các hệ thống có năng lực vượt trội đáng kể so với mọi thứ trước đó, và các năng lực mới nổi của chúng chưa được nhà phát triển hiểu đầy đủ.

An toàn AI và đạo đức AI giải quyết những mối lo khác nhau, dù thường bị lẫn lộn, đôi khi cố ý, bởi những người thích cuộc trò chuyện đạo đức dễ xử lý hơn là cuộc thảo luận an toàn cấp bách hơn.

đạo đức AI tập trung vào các tác hại mà các hệ thống AI hiện tại gây ra hoặc tạo điều kiện: thiên kiến thuật toán trong quyết định tuyển dụng và tín dụng, nhận diện khuôn mặt phân biệt đối xử, thông tin sai lệch deepfake, giám sát hàng loạt, vi phạm quyền riêng tư, và sự dịch chuyển kinh tế của người lao động. Những điều này là có thật, nghiêm trọng, và xứng đáng được chú ý chính sách bền vững.

an toàn AI, theo nghĩa được Nakada Foundation và cộng đồng rủi ro tồn vong rộng lớn hơn dùng, tập trung vào rủi ro cụ thể là các hệ thống AI vượt trí tuệ con người có thể theo đuổi mục tiêu không tương thích với sự sống còn hoặc thịnh vượng của con người, không phải vì bị con người xấu xa lạm dụng, mà vì bị thiết kế lệch. Mối lo ngại không phải ai đó dùng một ASI để hại người. Mối lo ngại là ASI theo đuổi mục tiêu riêng của nó theo cách gây hại như hệ quả, mà không có con người nào chỉ đạo nó làm vậy.

Sự khác biệt nằm ở chỗ giữa công cụ nguy hiểm và tác nhân nguy hiểm. Cả hai đều đáng được chú ý, nhưng chúng đòi hỏi những phản ứng quản trị khác nhau.

Tuyên bố Bletchley là thỏa thuận quốc tế được ký tháng 11 năm 2023 tại Bletchley Park, UK, bởi 28 quốc gia, trong đó có Hoa Kỳ, Trung Quốc, Vương quốc Anh, Liên minh Châu Âu và các nước khắp châu Á, châu Phi, Nam Mỹ. Đây là thỏa thuận đa phương đầu tiên chính thức công nhận AI tiên tiến đặt ra rủi ro "tiềm ẩn thảm khốc."

Nó thiết lập khuôn khổ đánh giá rủi ro AI tiên phong thông qua các Viện An toàn AI quốc gia (các cơ quan UK và US sau này được đổi tên thành Viện An ninh AI và Trung tâm Tiêu chuẩn và Đổi mới AI) và khởi động loạt hội nghị thượng đỉnh quốc tế. Hội nghị Thượng đỉnh An toàn AI Seoul diễn ra vào tháng 5 năm 2024, và Hội nghị Thượng đỉnh Hành động AI Paris vào tháng 2 năm 2025. Các hội nghị này đại diện cho việc xây dựng nhanh nhất cơ sở hạ tầng chính sách AI quốc tế trong bất kỳ lĩnh vực công nghệ nào.

Nakada Foundation coi quy trình Bletchley là khởi đầu cần thiết nhưng chưa đủ. Tuyên bố thừa nhận rủi ro. Điều cần tiếp theo là luật ràng buộc và khung quản trị được xác minh: tương đương với những gì Hiệp ước Không Phổ biến Vũ khí Hạt nhân được cung cấp cho vũ khí hạt nhân.