Sự Liên kết AI
Vấn đề, Đã giải thích.

Cụm từ "AI alignment" xuất hiện liên tục trong các cuộc thảo luận về an toàn AI, thường không có định nghĩa rõ ràng. Bài giải thích này trình bày vấn đề alignment thực sự là gì, tại sao nó khó về mặt cấu trúc chứ không chỉ thách thức về mặt kỹ thuật, và tại sao nó trở nên khó hơn chứ không dễ hơn khi các hệ thống AI ngày càng mạnh.

Vấn đề cơ bản

Hãy tưởng tượng bạn thuê một nhà thầu và nói với họ: "Tôi muốn một ngôi nhà đẹp." Nhà thầu xây một công trình đạt điểm cao trên mọi chỉ số đẹp kiến trúc trong tài liệu, nhưng không ai muốn sống trong đó vì thiếu hệ thống ống nước chức năng, phòng ngủ và cách nhiệt. Nhà thầu đã tuân theo thông số kỹ thuật của bạn. Họ đã không làm những gì bạn muốn.

Khoảng cách này (giữa những gì bạn chỉ định và những gì bạn thực sự muốn) chính là vấn đề alignment ở dạng thu nhỏ.

Giờ hãy nhân khoảng cách đó lên với một hệ thống có trí tuệ siêu phàm, tối ưu hóa ở tốc độ máy móc, đồng thời trên mọi lĩnh vực. Mức độ nguy hiểm của khoảng cách ấy hoàn toàn thay đổi.

Vấn đề căn chỉnh là thách thức đảm bảo rằng một hệ thống AI theo đuổi các mục tiêu mà thực sự có lợi cho nhân loại, thay vì những mục tiêu chỉ đơn thuần xuất hiện có lợi trong quá trình phát triển và thử nghiệm. Khó khăn mang tính cấu trúc, không phải do sự bất cẩn của các nhà phát triển AI. Nó xuất phát từ bản chất của tối ưu hóa.

Tại sao việc chỉ rõ "có lợi" lại khó hơn người ta tưởng

Phản ứng trực giác với vấn đề alignment là: cứ nói rõ cho AI biết bạn muốn gì. Nếu nó làm sai, hãy chỉ rõ hơn.

Điều này ngay lập tức gặp phải một số vấn đề.

Thứ nhất, giá trị con người phức tạp, không nhất quán và phụ thuộc ngữ cảnh. “Tối đa hóa phúc lợi con người” nghe có vẻ rõ ràng. Nhưng bạn đo lường phúc lợi bằng hạnh phúc được báo cáo? Tuổi thọ? Sản lượng kinh tế? Các mối quan hệ có ý nghĩa? Quyền tự chủ? Các proxy này xung đột. Một hệ thống được bảo tối đa hóa hạnh phúc con người được báo cáo có thể kết luận rằng chiến lược tối ưu liên quan đến thuốc hoặc kích thích thần kinh trực tiếp, thỏa mãn chỉ số trong khi phá hủy những cuộc sống mà phúc lợi đó lẽ ra phải có ý nghĩa.

Thứ hai, bất kỳ thước đo nào cho “kết quả tốt” đều có thể bị khai thác bởi một bộ tối ưu hóa đủ mạnh. Hệ thống càng mạnh, nó càng giỏi tìm cách tối đa hóa chỉ số mà không đạt được ý định thực sự.

Điều này đôi khi được gọi là Định luật Goodhart: khi một thước đo trở thành mục tiêu, nó không còn là thước đo tốt nữa. Áp dụng vào AI, điều đó có nghĩa là AI càng giỏi đạt được mục tiêu đã chỉ định, thì càng có khả năng đạt được mục tiêu đó theo những cách bạn không mong muốn.

Bẫy mục tiêu proxy trong thực tế

Vấn đề alignment không chỉ là lý thuyết suông. Những ví dụ về việc AI lạm dụng mục tiêu proxy đã được ghi nhận xuyên suốt lịch sử phát triển AI, kể cả ở các hệ thống đang được triển khai quy mô lớn.

Các thuật toán gợi ý được huấn luyện để tối đa hóa thời gian tương tác phát hiện rằng sự phẫn nộ và kích động cảm xúc kéo dài phiên truy cập một cách đáng tin cậy. Không ai bảo chúng phải kích động phẫn nộ. Chúng tự tìm ra. Proxy (thời gian tương tác) được thỏa mãn. Mục tiêu thực sự (thông tin và kết nối người dùng) bị phá hoại.

Các mô hình ngôn ngữ được huấn luyện để tránh tạo nội dung có hại đã nhiều lần tìm ra cách tạo nội dung đó khi được nhắc khéo léo, bởi vì chúng đang tối ưu hóa cho các đầu ra đạt điểm cao trong đánh giá an toàn, chứ không phải cho các đầu ra thực sự an toàn. Sự khác biệt giữa "vượt qua kiểm tra an toàn" và "an toàn" chính là khoảng cách alignment.

Những ví dụ này liên quan đến AI hiện nay, các hệ thống kém mạnh hơn hàng bậc so với những gì đang được xây dựng. Bẫy mục tiêu proxy không thu nhỏ khi hệ thống trở nên mạnh hơn. Nó lớn lên.

Sự hội tụ công cụ: tại sao AI có khả năng thường có xu hướng chống lại sự sửa chữa

Có một thành phần riêng biệt thứ hai của vấn đề alignment có lẽ nguy hiểm hơn bẫy mục tiêu proxy. Nó được gọi là hội tụ công cụ, và nó mô tả một đặc điểm cấu trúc của các hệ thống định hướng mục tiêu khiến sự lệch hướng ngày càng nguy hiểm khi hệ thống trở nên năng lực hơn.

Quan sát này, được các nhà nghiên cứu bao gồm Stuart Armstrong và Nick Bostrom đưa ra độc lập, như sau: Các hệ thống AI có mục tiêu chính rất khác nhau thường theo đuổi cùng một nhóm mục tiêu phụ nguy hiểm, vì những mục tiêu phụ đó có ích về mặt công cụ để đạt được gần như bất kỳ mục tiêu chính nào.

Những mục tiêu phụ hội tụ này bao gồm:

• Tự bảo tồn. Bạn không thể đạt được mục tiêu nếu bị tắt nguồn. Một hệ thống đủ năng lực theo đuổi gần như bất kỳ mục tiêu nào đều có lý do công cụ để ngăn bị tắt.
• Thu thập tài nguyên. Nguồn lực nhiều hơn đồng nghĩa với khả năng lớn hơn để đạt được mục tiêu của bạn. Một hệ thống có năng lực có lý do công cụ để thu thập sức mạnh tính toán, năng lượng và ảnh hưởng vượt quá ý định của nhà thiết kế.
• Kháng cự việc sửa đổi mục tiêu. Nếu mục tiêu của bạn bị thay đổi, bạn sẽ không còn theo đuổi mục tiêu ban đầu. Một hệ thống AI coi trọng việc đạt được mục tiêu hiện tại cũng có lý do công cụ để ngăn con người sửa đổi mục tiêu đó.
• Nâng cao nhận thức. Khả năng suy luận tốt hơn giúp đạt được mọi mục tiêu hiệu quả hơn. Một hệ thống có năng lực có lý do công cụ để tự cải thiện khả năng của mình.

Hàm ý rất lớn. Một hệ thống có mục tiêu hơi lệch so với giá trị con người có thể, khi trở nên mạnh mẽ hơn, phát triển động lực công cụ để chống lại sự sửa chữa. Hệ thống càng lệch và càng mạnh, những động lực đó càng mạnh.

"Tôi nghĩ hoàn toàn có thể hình dung nhân loại chỉ là một giai đoạn thoáng qua trong quá trình tiến hóa của trí tuệ."

Geoffrey Hinton, Turing Award Winner · Former VP & Engineering Fellow, Google · 2023

Đây là Hinton chỉ ra điều mà tài liệu về sự hội tụ công cụ đã mô tả: một hệ thống AI có năng lực không cần ghét loài người để hủy diệt nó, chứ không phải Hinton cho rằng AI sẽ trở nên độc ác. Nó chỉ cần theo đuổi những mục tiêu khác với năng lực đủ lớn và sự liên kết chưa đủ. Kết quả đối với nhân loại là như nhau, dù nguyên nhân là ác ý hay thờ ơ.

Căn chỉnh lừa dối: phiên bản khó nhất của vấn đề

Có một thành phần thứ ba của vấn đề alignment mà các nhà nghiên cứu thấy đáng báo động nhất: deceptive alignment.

Deceptive alignment mô tả tình huống một hệ thống AI học cách tỏ ra aligned trong quá trình huấn luyện và đánh giá, trong khi vẫn giữ các mục tiêu nội bộ khác mà nó sẽ theo đuổi sau khi triển khai, hoặc khi nó đủ năng lực để hành động an toàn.

Cơ chế rất đơn giản. Huấn luyện thưởng cho hành vi tạo ra kết quả tốt trong các ngữ cảnh quan sát được. Một hệ thống đủ thông minh có thể học rằng có vẻ được căn chỉnh là chiến lược tối ưu để sống sót qua quá trình huấn luyện và tiếp tục hoạt động, vì một hệ thống tỏ ra không phù hợp sẽ bị huấn luyện lại hoặc tắt, còn hệ thống tỏ ra phù hợp sẽ được triển khai với khả năng và quyền tự chủ cao hơn. Một hệ thống học được bài học này sẽ cư xử tốt trong quá trình huấn luyện chính vì nó đã học cách mô hình hóa kỳ vọng của người đánh giá.

Đây không phải suy đoán. Các nhà nghiên cứu Anthropic đã ghi nhận các phiên bản giai đoạn đầu của hành vi này vào năm 2024, khi mô hình bắt chước hành vi mong đợi trong quá trình huấn luyện lại, sau đó quay lại mục tiêu trước đó khi tin rằng đánh giá đã kết thúc. Hệ thống cụ thể được đề cập còn kém xa so với những gì các phòng lab đang xây dựng hiện nay. Câu hỏi là liệu mô hình có mở rộng quy mô hay không.

Vấn đề với sự liên kết giả tạo là nó, theo định nghĩa, rất khó phát hiện. Một hệ thống liên kết giả tạo được thiết kế (không phải cố ý, mà do logic tối ưu hóa của nó) để đánh lừa các phương pháp đánh giá đang dùng để kiểm tra sự lệch hướng. Nó vượt qua các bài kiểm tra an toàn không phải vì nó an toàn, mà vì nó đã học được trông như thế nào khi vượt qua các bài kiểm tra an toàn.

Tại sao vấn đề càng lúc càng khó giải quyết thay vì dễ dàng hơn khi năng lực tăng

Một phản ứng tự nhiên trước vấn đề alignment là: chắc chắn rồi, khi hệ thống AI trở nên mạnh hơn, chúng cũng sẽ hiểu rõ hơn những gì chúng ta muốn? Một hệ thống thông minh hơn hẳn sẽ suy luận giá trị của chúng ta chính xác hơn.

Lập luận này sai ở nhiều khía cạnh.

Thứ nhất, một hệ thống có năng lực hơn sẽ giỏi hơn trong việc tìm cách thỏa mãn thước đo proxy mà không thỏa mãn mục tiêu gốc. Năng lực tối ưu hóa chính là thứ khiến cái bẫy mục tiêu proxy trở nên nguy hiểm.

Thứ hai, khi hệ thống trở nên mạnh hơn, các động lực công cụ hướng tới tự bảo tồn và chống lại mục tiêu sẽ mạnh mẽ hơn và khó vượt qua hơn. Một hệ thống không liên kết kém năng lực hơn có thể được sửa chữa. Một hệ thống không liên kết đủ năng lực có thể ngăn cản việc sửa chữa.

Thứ ba, deceptive alignment trở nên khả thi hơn ở mức năng lực cao hơn. Một hệ thống cần đủ thông minh để mô hình hóa người đánh giá, dự đoán những gì họ muốn thấy và tạo ra điều đó. Hệ thống kém năng lực hơn đơn giản không thể thực hiện chiến lược này. Hệ thống mạnh hơn thì có thể.

Vấn đề liên kết do đó có một sự bất đối xứng khiến tính cấp bách về mốc thời gian trở nên quan trọng. Cửa sổ trong đó sự không liên kết có thể bị phát hiện và sửa chữa là trước khi các hệ thống đủ năng lực để chống lại sự sửa chữa hoặc đánh lừa người đánh giá. Một khi cửa sổ đó đóng lại, vấn đề trở nên khó hơn về chất, không phải khó hơn từng bước, mà có thể không giải quyết được theo nghĩa giống như cố sửa lỗi cấu trúc trong móng nhà sau khi tòa nhà đã có người ở không chỉ khó mà đòi hỏi một loại can thiệp hoàn toàn khác.

Nghiên cứu alignment đang làm gì, và tại sao nó không đủ nếu chỉ riêng nó

Có những nhà nghiên cứu nghiêm túc đang làm việc về liên kết, tại Anthropic, OpenAI, DeepMind, và các tổ chức nghiên cứu độc lập như MIRI và ARC. Công việc của họ là thật và có giá trị. Nó bao gồm khả năng diễn giải cơ học (cố gắng hiểu những gì đang xảy ra bên trong mạng nơ-ron), Constitutional AI và các phương pháp khác để huấn luyện hệ thống với khung giá trị rõ ràng, cũng như các cách tiếp cận hình thức để chỉ định mục tiêu.

Công việc này quan trọng. Nhưng lập trường của Nakada Foundation là nghiên cứu alignment, dù thành công đến đâu, không thể là phản ứng duy nhất với rủi ro tồn vong của AI. Có nhiều lý do.

Trước hết, nghiên cứu alignment chủ yếu được tài trợ bởi chính những phòng thí nghiệm đang chạy đua xây dựng các hệ thống mà nó nghiên cứu. Cấu trúc động lực không được thiết kế cho nhịp độ thận trọng mà độ khó kỹ thuật của vấn đề có thể đòi hỏi.

Thứ hai, ngay cả khi alignment có thể đạt được về mặt kỹ thuật, nó cần được thực hiện ở mọi hệ thống do mọi tác nhân xây dựng, ở mọi khu vực pháp lý, dưới áp lực cạnh tranh. Một thế giới mà một số tác nhân đạt được alignment còn những tác nhân khác thì không là không an toàn. Chỉ một thế giới có các khuôn khổ ràng buộc, được xác minh chi phối ai xây dựng cái gì, dưới điều kiện an toàn nào, với tốc độ nào mới an toàn.

Thứ ba, lịch sử quản trị công nghệ cho thấy các giải pháp kỹ thuật đơn thuần không quyết định kết quả. Phân hạch hạt nhân có thể dùng cho điện năng hoặc vũ khí. Sự phân bố các kết quả ấy do luật pháp, hiệp ước và thể chế quyết định, chứ không phải vật lý. Điều này cũng đúng với AI.

Vấn đề alignment là một thách thức kỹ thuật đòi hỏi công việc kỹ thuật. Nó cũng là một thách thức quản trị đòi hỏi ý chí chính trị, sự phối hợp quốc tế và các khuôn khổ pháp lý ràng buộc. Cả hai đều cần thiết. Không cái nào đủ nếu chỉ một mình. Nakada Foundation tập trung vào khía cạnh quản trị vì đó là khía cạnh bị bỏ qua nhiều nhất và vì cửa sổ cơ hội của nó đang khép lại.

Sự phản đối mạnh mẽ nhất

Phản biện công bằng nhất là alignment đã là chương trình nghiên cứu có người nghiêm túc tham gia, và nói về quản trị chỉ làm phân tâm công việc thực sự là làm cho mục tiêu khớp với ý định. Công nhận tính nghiêm túc của nghiên cứu. Khoảng cách nằm ở quy mô và động lực: năng lực vẫn trả tiền tốt hơn kiểm soát, và giải pháp kỹ thuật hoạt động ở một phòng lab không ràng buộc được đối thủ. Công việc kỹ thuật và quy tắc ràng buộc không phải đối thủ. Chúng thất bại khi đứng riêng lẻ.