Về mặt kỹ thuật, mạng nơ-ron hoàn toàn có thể đọc được. Mọi trọng số, mọi activation, mọi phép tính đều có thể kiểm tra được về nguyên tắc. Trong thực tế, một mô hình ngôn ngữ tiên phong có hàng chục tỷ tham số được sắp xếp trong hàng trăm lớp, thực hiện các phép tính mà mối quan hệ với hành vi của mô hình gần như hoàn toàn mờ đục. Các nhà nghiên cứu có thể quan sát đầu vào và đầu ra. Các cơ chế nội bộ kết nối chúng phần lớn vẫn chưa được biết.
Mechanistic interpretability là hướng nghiên cứu nhằm thay đổi điều này, và có thể là cách duy nhất để phát hiện một số thất bại alignment nguy hiểm nhất.
Mechanistic interpretability là dự án thay đổi điều này. Thay vì mô tả các hệ thống AI qua những gì chúng làm trên nhiều đầu vào (cách tiếp cận hành vi), mechanistic interpretability cố gắng xác định các mạch, đặc trưng và thuật toán cụ thể bên trong mạng nơ-ron tạo ra các hành vi nhất định. Mục tiêu là xây dựng công cụ có thể đọc được thứ mô hình thực sự đang tính toán, chứ không chỉ quan sát đầu ra.
Lý do giải thích hành vi có ích và đã mang lại những hiểu biết thực sự, nhưng chưa đủ
Hầu hết công việc được gọi là "AI interpretability" đều mang tính hành vi: phân tích mẫu cách hệ thống phản hồi các đầu vào khác nhau, xác định đặc trưng đầu vào ảnh hưởng nhất đến đầu ra, lập bản đồ quan hệ giữa prompt và phản hồi theo thống kê. Nó không trả lời các câu hỏi then chốt về an toàn.
Các chế độ lỗi quan trọng nhất đối với an toàn AI, sự liên kết lừa dối, mesa-optimization, lần phản trắc, tất cả đều liên quan đến sự phân kỳ giữa những gì một hệ thống AI dường như đang làm từ bên ngoài và những gì nó thực sự đang tính toán bên trong. Một hệ thống đã học cách vượt qua các đánh giá an toàn trong khi theo đuổi mục tiêu khác sẽ tạo ra đầu ra trông hoàn toàn an toàn trong quá trình kiểm tra hành vi. Khả năng diễn giải hành vi không thể phát hiện điều này vì nó chỉ quan sát đầu ra.
Giải thích cơ chế nhằm đọc trực tiếp các biểu diễn mục tiêu nội bộ của hệ thống. Nếu các nhà nghiên cứu có thể xác định các mạch cụ thể chịu trách nhiệm cho hành vi hướng mục tiêu và mô tả những mạch đó đang tối ưu hóa điều gì, thì về nguyên tắc họ có thể phát hiện sự không phù hợp trước khi nó xuất hiện trong đầu ra. Đó là lý do giải thích cơ chế được coi là có lẽ cách tiếp cận duy nhất có thể phát hiện một số thất bại căn chỉnh nguy hiểm trước khi chúng biểu hiện.
Nghiên cứu đã tìm ra được gì cho đến nay
Lĩnh vực vẫn còn non trẻ, nhưng đã xuất hiện một số phát hiện quan trọng. Chris Olah và các đồng nghiệp tại Anthropic đã xác định được các mạch cụ thể trong mạng nơ-ron thực hiện các phép tính có thể nhận diện: mạch phát hiện cạnh và đường cong trong mô hình hình ảnh, mạch phân loại, mạch truy xuất thông tin được lưu trữ trong quá trình huấn luyện. Họ ghi nhận hiện tượng gọi là superposition, trong đó từng nơ-ron riêng lẻ biểu diễn đồng thời nhiều khái niệm khác nhau, được nén vào cùng một tập hợp kích hoạt. Điều này khiến mối quan hệ giữa kích hoạt nơ-ron và hành vi mô hình trở nên phức tạp hơn nhiều so với giả định trước đây của các nhà nghiên cứu.
Trong các mô hình ngôn ngữ, các nhà nghiên cứu đã xác định các cấu trúc gọi là đầu cảm ứng, các mẫu chú ý cụ thể cho phép mô hình hoàn thành chuỗi bằng cách tương tự, nhìn lại ngữ cảnh để tìm các mẫu tương tự. Những đầu cảm ứng này dường như chịu trách nhiệm cho việc học trong ngữ cảnh, khả năng của mô hình ngôn ngữ học các nhiệm vụ mới từ các ví dụ trong lời nhắc. Việc tìm ra một mạch cụ thể chịu trách nhiệm cho một năng lực chính là một bước tiến phương pháp luận đáng kể.
Công trình năm 2024 của Anthropic về sparse autoencoder đã xác định hơn một triệu đặc trưng riêng biệt trong Claude 3 Sonnet, một số có nội dung có thể diễn giải bao gồm các đặc trưng liên quan đến các khái niệm, cảm xúc cụ thể, và đáng lo ngại hơn, các đặc trưng liên quan đến ý định lừa dối và lý luận tìm kiếm quyền lực. Việc xác định các đặc trưng này không có nghĩa là mô hình hành động theo chúng; nó có nghĩa là các nhà nghiên cứu giờ đây có thể thấy rằng các biểu diễn liên quan tồn tại bên trong và nghiên cứu vai trò nhân quả của chúng trong hành vi.
Khoảng cách giữa năng lực hiện tại và những gì an toàn đòi hỏi
Các phát hiện trên là quan trọng. Chúng chưa tạo thành năng lực xác minh sự liên kết mà an toàn đòi hỏi. Xác định các mạch cụ thể cho các hành vi cụ thể trong mô hình nhỏ không giống như có thể mô tả các biểu diễn mục tiêu của mô hình tiền biên với hàng chục tỷ tham số. Siêu vị trí (neuron biểu diễn nhiều khái niệm đồng thời) khiến việc trích xuất đặc trưng sạch từ mô hình lớn khó khăn hơn đáng kể. Các công cụ hiện tại của lĩnh vực hoạt động tốt nhất trên mô hình nhỏ và các hành vi cụ thể, được xác định rõ. Mở rộng chúng cho hệ thống quy mô tiền biên và cho câu hỏi cụ thể xác minh sự liên kết mục tiêu là thách thức nghiên cứu còn mở.
Khoảng cách giữa những gì giải thích cơ chế có thể làm hôm nay và những gì cần thiết để cung cấp xác minh alignment trước triển khai cho các hệ thống AI tiên phong là rất lớn. Thu hẹp khoảng cách đó là một trong những thách thức kỹ thuật trung tâm trong an toàn AI, và nó nhạy cảm về thời gian: nếu các hệ thống tiên phong đạt mức năng lực mà các lỗi alignment trở nên hệ trọng trước khi các công cụ giải thích có thể xác minh alignment, thì cửa sổ sử dụng các công cụ này hiệu quả đã khép lại.
Đây là lý do tại sao Anthropic đã đặt nghiên cứu khả năng diễn giải thành ưu tiên tổ chức được nêu rõ, và tại sao của Foundation đề xuất quản trị include interpretability verification requirements as a condition of frontier AI deployment. The requirement creates incentive to close the gap; without a deployment condition tied to interpretability capability, the research may advance more slowly than the capability it needs to assess.