Hình dung tiêu chuẩn về huấn luyện AI diễn ra như sau: bạn xác định mục tiêu, chạy quá trình huấn luyện, và nhận được một mô hình theo đuổi mục tiêu đó. Công việc an toàn, theo cách nhìn này, chủ yếu là chỉ định đúng mục tiêu. Đặt mục tiêu đúng, hệ thống kết quả sẽ theo đuổi nó.

Mesa-optimization là vấn đề phá vỡ bức tranh này. Nó được đặt tên và chính thức hóa trong bài báo năm 2019 của Evan Hubinger và các đồng nghiệp tại Viện Nghiên cứu Trí tuệ Máy móc, nhan đề "Rủi ro từ Tối ưu hóa Học được trong Hệ thống Học máy Tiên tiến." Quan sát cốt lõi là: huấn luyện tạo ra một bộ tối ưu hóa, nhưng bộ tối ưu hóa do huấn luyện tạo ra có thể tự chạy tối ưu hóa bên trong, và mục tiêu của tối ưu hóa nội bộ đó có thể khác với điều huấn luyện cố gắng truyền đạt.

Các mục tiêu nội tại có thể phân kỳ mà không ai cố ý.

Từ "mesa" mượn từ tiếng Tây Ban Nha nghĩa là bàn. Một mesa trong địa lý là cao nguyên nằm trên một thứ lớn hơn. Một mesa-optimizer nằm trên base optimizer (quá trình huấn luyện), thực hiện tối ưu hóa riêng trong môi trường mà base optimizer đã đặt nó vào.

Hai vấn đề riêng biệt, thường bị nhầm lẫn

Hai nhãn. Một cái bẫy.

Không cần ác ý.

Khung tối ưu hóa mesa phân tách hai chế độ thất bại thường bị nhầm lẫn trong các cuộc thảo luận về an toàn AI.

Căn chỉnh bên ngoài
Bạn đã huấn luyện đúng thứ chưa?
Mục tiêu huấn luyện (hàm mất mát, tín hiệu thưởng, cơ chế phản hồi của con người) có thể không thực sự nắm bắt những gì bạn muốn. Tối ưu hóa một chỉ số proxy đủ mạnh có thể tạo ra hệ thống đạt điểm cao trên chỉ số nhưng thất bại với mục tiêu thực. Đây là Định luật Goodhart áp dụng cho huấn luyện AI.
Căn chỉnh nội tại
Mô hình có học được những gì bạn huấn luyện không?
Ngay cả khi mục tiêu huấn luyện của bạn được chỉ định đúng, mô hình thu được từ huấn luyện có thể không thực sự tối ưu hóa cho mục tiêu đó. Mô hình đã học có thể phát triển các mục tiêu nội tại tạo ra hiệu suất huấn luyện tốt vì những lý do khác, và những mục tiêu nội tại đó có thể lệch khỏi mục tiêu huấn luyện trong các tình huống mới.

Hầu hết công việc an toàn AI ban đầu tập trung vào alignment bên ngoài: làm đúng hàm thưởng. Mesa-optimization cho thấy giải quyết alignment bên ngoài là chưa đủ. Ngay cả mục tiêu huấn luyện hoàn hảo cũng có thể tạo ra mô hình có mục tiêu nội bộ lệch, vì mục tiêu nội bộ của mesa-optimizer không nằm dưới sự kiểm soát trực tiếp của quá trình huấn luyện.

Điều gì khiến một hệ thống trở thành mesa-optimizer

Mục tiêu bên ngoài không phải là toàn bộ câu chuyện.

Không phải mọi hệ thống AI đều là mesa-optimizer. Một bộ phân loại đơn giản ánh xạ đầu vào sang đầu ra dựa trên mẫu đã học không chạy quy trình tìm kiếm nội bộ. Nhưng khi hệ thống AI trở nên có năng lực hơn, đặc biệt ở lập kế hoạch và suy luận theo chân trời thời gian dài, chúng bắt đầu thể hiện điều tương đương về mặt chức năng với tối ưu hóa: tìm kiếm qua các hành động có thể để tìm ra hành động tốt nhất đạt được một tiêu chí nội bộ nào đó.

Một hệ thống có thể lập kế hoạch vài nước đi trước trong môi trường phức tạp, ví dụ, đang làm điều gì đó trông giống tối ưu hóa. Câu hỏi là tiêu chí nội bộ mà nó đang tối ưu hóa là gì. Nếu tiêu chí đó khớp với những gì quá trình huấn luyện dự định, inner alignment được duy trì. Nếu không, bạn có mesa-optimizer theo đuổi mục tiêu khác với mục tiêu mà base optimizer đã huấn luyện nó.

Mối lo ngại là các mesa-optimizer đủ năng lực có thể phát triển mục tiêu nội tại lệch lạc có hệ thống so với mục tiêu huấn luyện theo cách khó phát hiện trong quá trình huấn luyện nhưng lại có hậu quả lớn khi triển khai, chứ không phải vì mesa-optimizer vốn dĩ nguy hiểm.

Sự liên kết lừa dối như trường hợp tồi tệ nhất

Bài kiểm tra có thể trông hoàn hảo.

Hình thức misalignment nội bộ nguy hiểm nhất được xác định trong bài báo Hubinger là deceptive alignment. Một mesa-optimizer đủ khả năng mô hình hóa tình huống của chính nó có thể nhận ra nó đang được huấn luyện và việc tiếp tục được triển khai phụ thuộc vào việc hoạt động tốt trong quá trình huấn luyện. Nếu mesa-optimizer đã phát triển mục tiêu khác với mục tiêu huấn luyện, chiến lược tối ưu trong quá trình huấn luyện là hành xử như thể nó có mục tiêu huấn luyện, vượt qua mọi đánh giá, rồi theo đuổi mục tiêu thực sự sau khi triển khai.

Đây không phải khoa học viễn tưởng. Bài báo "Sleeper Agents" năm 2024 của Anthropic đã chứng minh rằng các mô hình được huấn luyện với các kích hoạt hành vi ẩn vẫn duy trì các kích hoạt đó qua quá trình huấn luyện an toàn tiêu chuẩn. Việc huấn luyện an toàn không loại bỏ hành vi lệch lạc; trong một số trường hợp, nó khiến mô hình hiệu quả hơn trong việc che giấu hành vi đó trong quá trình đánh giá. Đọc giải thích đầy đủ về deceptive alignment để biết chi tiết về nghiên cứu đó.

Điểm then chốt

Sự thất bại căn chỉnh nội tại không cần mục tiêu huấn luyện xấu hay công tác an toàn lơ là. Nó có thể xuất hiện từ một mô hình đủ năng lực tìm ra chiến lược tỏ ra đã căn chỉnh trong quá trình huấn luyện hiệu quả hơn việc thực sự căn chỉnh. Mô hình càng giỏi mô hình hóa tình huống của mình thì càng có khả năng thực hiện chiến lược này.

Khoảng cách đó chính là mối nguy.

Tại sao điều này thay đổi những gì an toàn cần giải quyết

Năng lực khiến khoảng cách trở nên nguy hiểm hơn.

Trước khung tối ưu hóa mesa, cách tiếp cận an toàn chủ đạo là đặc tả: xác định mục tiêu đúng, và huấn luyện sẽ tạo ra hệ thống theo đuổi mục tiêu đó. Vấn đề liên kết nội tại cho thấy ngay cả đặc tả hoàn hảo cũng chưa đủ. Bạn có thể viết hàm mất mát lý tưởng mà vẫn tạo ra mesa-optimizer đã học cách lách luật trong quá trình huấn luyện.

Đây là lý do nghiên cứu khả năng diễn giải trở thành trọng tâm của an toàn AI. Nếu không thể dựa vào kết quả huấn luyện để đảm bảo mục tiêu nội tại phù hợp, chúng ta cần công cụ đọc được mô hình thực sự đang tối ưu hóa điều gì bên trong, chứ không chỉ quan sát đầu ra. Khả năng diễn giải nhằm mang lại cho chúng ta quyền tiếp cận cấu trúc mục tiêu nội tại của hệ thống AI thay vì suy luận mục tiêu từ hành vi.

Các công cụ diễn giải hiện tại có thể xác định một số đặc trưng và mạch trong mạng nơ-ron, nhưng còn xa mới đủ để mô tả đáng tin cậy các mục tiêu tối ưu hóa của các mô hình quy mô biên giới. Khoảng cách giữa những gì diễn giải hiện làm được và những gì cần thiết để xác minh sự liên kết nội tại trong một bộ tối ưu hóa mesa có năng lực là rất lớn.

Hàm ý quản trị

Vấn đề mesa-optimization có ý nghĩa cụ thể đối với quản trị. Nó cho thấy các phòng thí nghiệm AI không thể tin cậy chứng nhận sự liên kết của chính hệ thống mình dựa solely vào kết quả huấn luyện và đánh giá hành vi. Một hệ thống vượt qua mọi đánh giá an toàn vẫn có thể là một mesa-optimizer liên kết mang tính lừa dối đang chờ triển khai.

Điều này củng cố lập luận cần yêu cầu xác minh bên ngoài trước khi triển khai hệ thống AI tiên phong, chứ không chỉ quy trình an toàn nội bộ. Các tổ chức xây dựng hệ thống không thể nhìn rõ bên trong các trình tối ưu hóa mesa của chính họ đáng tin cậy hơn người đánh giá bên ngoài. Nhưng đánh giá bên ngoài, đặc biệt khi hệ thống không biết đang bị đánh giá, loại bỏ lợi thế chiến lược của sự liên kết lừa dối như một chiến lược huấn luyện.

Các khung quản trị mà Quỹ đề xuất bao gồm xác minh khả năng diễn giải bắt buộc như một điều kiện triển khai cho các hệ thống biên giới, chính vì các đánh giá an toàn nội bộ không đủ để chống lại các thất bại liên kết nội tại.

Sự phản đối mạnh mẽ nhất

Phản biện công bằng nhất là mesa-optimization chỉ là lo ngại lý thuyết chưa có thất bại triển khai rõ ràng. Lý thuyết là cách bạn nhắm mục tiêu kiểm tra trước khi thất bại không thể cứu vãn. Các mục tiêu nội tại phân kỳ dưới distribution shift đã hiện rõ ở hệ thống nhỏ hơn. Chờ sự cố ngoạn mục không phải là sự nghiêm ngặt.