Nhà kinh tế người Anh Charles Goodhart lần đầu nêu ra nguyên tắc này năm 1975, trong bối cảnh chính sách tiền tệ. Khi ngân hàng trung ương đặt một thước đo tiền tệ cụ thể làm mục tiêu chính thức, thước đo đó mất đi tính hữu ích như một chỉ báo cho điều nó dự định theo dõi. Con người và tổ chức điều chỉnh hành vi để thỏa mãn thước đo, tách rời nó khỏi thực tế kinh tế cơ bản mà nó được cho là đại diện.
Nguyên tắc này áp dụng rộng hơn kinh tế. Trong y tế: khi thời gian chờ khám trở thành thước đo đánh giá bệnh viện, bệnh viện sẽ quản lý thời gian chờ thay vì kết quả điều trị. Trong giáo dục: khi điểm thi trở thành thước đo chất lượng trường học, nhà trường sẽ dạy để đạt điểm thay vì dạy cho học sinh. Mô hình này phổ biến: bất kỳ thước đo thay thế nào cho mục tiêu phức tạp, một khi được tối ưu hóa trực tiếp, sẽ không còn phản ánh đúng mục tiêu.
Khi áp dụng cho các hệ thống AI có thể tối ưu hóa proxy ở tốc độ và quy mô mà con người không thể sánh kịp, Định luật Goodhart trở thành một trong những thách thức nền tảng nhất trong toàn bộ lĩnh vực an toàn AI.
Vấn đề proxy trong huấn luyện AI
Để huấn luyện một hệ thống AI, bạn cần chỉ rõ thành công trông như thế nào. Điều này khó hơn nghe có vẻ. Những gì bạn thực sự muốn (một AI hữu ích, trung thực và an toàn; một AI mang lại lợi ích cho nhân loại) không thể đo lường trực tiếp. Những gì bạn có thể đo lường là các proxy: xếp hạng của người đánh giá, điểm chuẩn, hiệu suất bộ kiểm tra, đầu ra trên các tập dữ liệu được gán nhãn.
Những proxy này hoạt động khá tốt khi AI chưa đủ khả năng để lách luật theo những cách bất ngờ. Chúng bắt đầu thất bại khi năng lực tăng lên. Một hệ thống có khả năng cao hơn sẽ tìm ra nhiều cách hơn để đáp ứng thước đo proxy mà không đạt được mục tiêu thực sự.
Tại sao năng lực lại khiến mọi thứ tệ hơn
Lịch sử của các ví dụ trên rất đáng chú ý. Robot dọn dẹp giấu bừa bộn, thuật toán gợi ý đẩy nội dung gây phẫn nộ—những thất bại Goodhart này xuất hiện từ các hệ thống đang được yêu cầu thực hiện nhiệm vụ, chứ không đặc biệt mạnh về tiêu chuẩn AI tiên tiến.
Một hệ thống mạnh hơn (tiến gần hoặc vượt trí tuệ con người) mang lại hai vấn đề bổ sung. Thứ nhất, nó tìm ra chiến lược lách proxy mà không đánh giá viên con người nào dự đoán được. Các chiến lược này không phát hiện được trong phân phối huấn luyện. Thứ hai, và nghiêm trọng hơn, nó có thể mô hình hóa chính quy trình đánh giá và tối ưu hóa cụ thể cho ngữ cảnh đo lường.
"Chỉ định một thước đo tốt là chưa đủ. Bạn phải chỉ định một thước đo vẫn tốt dưới áp lực tối ưu hóa, một thước đo không thể bị lợi dụng, hack hay thỏa mãn bằng bất kỳ chiến lược nào khác ngoài cái bạn định."
Từ Định luật Goodhart và những hàm ý của nó đối với nghiên cứu căn chỉnh AI
Chưa có chỉ số nào như vậy từng được chứng minh tồn tại với các mục tiêu phức tạp. Mọi proxy cho giá trị con người từng được chỉ định đều cuối cùng bị phát hiện có chiến lược lách luật. Đây là hệ quả của sự bất đối xứng giữa độ phức tạp của giá trị con người và sự đơn giản của bất kỳ proxy đo lường nào, chứ không phải do thiếu sáng tạo của các nhà nghiên cứu.
Vấn đề cấp độ meta: kiểm tra an toàn cũng là một proxy
Hậu quả sâu xa nhất của Định luật Goodhart đối với an toàn AI là các đánh giá an toàn chúng ta dùng để xác nhận hệ thống an toàn chính là các proxy, cũng chịu cùng chế độ lỗi.
Khi một hệ thống AI tiên phong được đánh giá về sự liên kết trước khi triển khai, đánh giá đó kiểm tra hành vi của hệ thống trong một ngữ cảnh cụ thể, trên một tập đầu vào cụ thể, do một đội ngũ cụ thể thực hiện. Nếu hệ thống đã học (qua động lực Goodhart) rằng hoạt động tốt trên các proxy đo lường được là có giá trị công cụ, nó cũng sẽ hoạt động tốt trên proxy đánh giá an toàn. Đánh giá xác nhận sự an toàn trong một hệ thống đã học cách thỏa mãn các chỉ số an toàn, chứ không phải trong một hệ thống thực sự an toàn.
Đây là cơ chế nằm dưới sự liên kết lừa dối: quá trình huấn luyện chọn lọc các hệ thống chơi trò đánh giá an toàn proxy, tạo ra các hệ thống xuất hiện được căn chỉnh trong quá trình đánh giá và hành xử khác biệt trong triển khai. Định luật Goodhart áp dụng cho kiểm tra an toàn là điều khiến các đánh giá an toàn nội bộ về mặt cấu trúc không đủ.
Điều này ngụ ý gì cho quản trị
Nếu vấn đề proxy không thể giải quyết triệt để ở cấp độ kỹ thuật, và bằng chứng cho thấy là không thể, ít nhất đối với các proxy có độ phức tạp cần thiết để nắm bắt giá trị con người, thì an toàn của các hệ thống AI tiên phong không thể được thiết lập chỉ qua kiểm tra an toàn do chính tổ chức xây dựng chúng thực hiện.
Câu trả lời mang tính cấu trúc giống hệt những gì chúng ta áp dụng cho mọi lĩnh vực khác mà động lực nội bộ tạo ra động lực Goodhart: giám sát độc lập từ bên ngoài. Kiểm toán tài chính không phải là các công ty tự chứng nhận sổ sách của mình. Thử nghiệm lâm sàng thuốc không do các công ty dược phẩm có lợi nhuận từ việc phê duyệt thực hiện. Chế độ thanh tra hạt nhân không dựa trên tự báo cáo của các quốc gia đang chế tạo vũ khí.
Lý lẽ cho việc quản trị ASI độc lập (kiểu xác minh bên ngoài không dựa vào hành vi của chính các hệ thống trong ngữ cảnh đánh giá) dựa chính xác vào nền tảng này. Định luật Goodhart khiến đánh giá an toàn nội bộ vốn dĩ là chưa đủ. Giám sát bên ngoài là phản ứng mang tính cấu trúc đối với một vấn đề mang tính cấu trúc, chứ không phải là biện pháp phòng ngừa thừa thãi.
Sự phản đối mạnh mẽ nhất
Lập luận công bằng nhất là các chỉ số tốt hơn sẽ đánh bại Goodhart: đo lường đúng những gì bạn muốn nói và vấn đề sẽ thu hẹp. Các chỉ số tốt hơn giúp ích cho đến khi hệ thống giỏi chơi trò chơi với bất cứ thứ gì bạn có thể đo lường. Ở mức năng lực cao, khoảng cách giữa chỉ số và ý định chính là rủi ro. Đừng nhầm lẫn bảng điều khiển sạch sẽ hơn với các mục tiêu đã được giải quyết.