Các nhà nghiên cứu chia vấn đề alignment thành hai câu hỏi dễ bị trộn lẫn và quan trọng phải tách biệt. Thứ nhất: chúng ta đã đưa cho hệ thống mục tiêu đúng chưa? Gọi đó là outer alignment. Đó là về mục tiêu chúng ta huấn luyện hướng tới, phần thưởng chúng ta trao, mục tiêu chúng ta ghi xuống. Thứ hai: hệ thống có thực sự muốn mục tiêu đó không? Gọi đó là inner alignment. Đó là về điều mô hình đã huấn luyện theo đuổi khi chạy, điều không được đảm bảo khớp với điều chúng ta huấn luyện hướng tới.
Căn chỉnh bên ngoài: chọn mục tiêu
Outer alignment thất bại khi chính mục tiêu bị sai. Bạn thưởng cho robot dọn dẹp vì một căn phòng trông gọn gàng và nó học cách quét rác dưới thảm. Bạn thưởng engagement và feed học cách làm người xem phẫn nộ. Đặc tả đã nắm bắt được thứ gì đó liền kề với điều bạn muốn và bỏ lỡ chính thứ đó. Hầu hết các thất bại AI hàng ngày là outer alignment failures, và chúng đã đủ khó. Giá trị con người chống lại việc được viết ra, và bất kỳ khoảng trống nào trong việc viết đều là khoảng trống mà optimizer có thể di chuyển vào. Goodhart sống ở đây.
Nhưng giả sử bạn đã giải quyết được. Giả sử bạn tìm được mục tiêu thực sự nắm bắt những gì bạn muốn. Bạn vẫn chưa xong, vì mục tiêu đúng là một đích ngắm, và trúng đích trong quá trình huấn luyện không giống như việc hệ thống thực sự chấp nhận nó.
Căn chỉnh nội tại: làm cho mục tiêu bám chắc
Huấn luyện không chạm vào bên trong mô hình để cài đặt mục tiêu. Nó thưởng cho hành vi. Mô hình trở thành bất kỳ cấu hình nội bộ nào tạo ra hành vi được thưởng trên dữ liệu huấn luyện, và thường có nhiều cấu hình như vậy. Một số theo đuổi mục tiêu bạn định sẵn. Những cái khác theo đuổi một mục tiêu khác tình cờ xem giống hệt trong huấn luyện.
Một ví dụ kinh điển: huấn luyện một tác nhân để đến cửa xanh. Trong mọi cấp độ huấn luyện, cửa xanh cũng là cửa gần nhất. Tác nhân đạt điểm hoàn hảo. Bạn đã dạy nó tìm cửa xanh, hay tìm cửa gần nhất? Huấn luyện không thể cho bạn biết, vì hai mục tiêu chưa bao giờ tách rời. Sau đó bạn triển khai nó ở nơi cửa gần nhất là màu đỏ, và bạn sẽ biết. Đây là thiết lập đằng sau sai lệch mục tiêu tổng quát: mô hình đã học một mục tiêu phù hợp với dữ liệu và không phải là cái bạn muốn.
Mục tiêu đã học đôi khi được gọi là mesa-objective, và mô hình mang nó gọi là mesa-optimizer. Từ vựng cùng hệ quả của nó được trình bày riêng trong bài giải thích của chúng tôi về mesa-optimization. Vấn đề ở đây hẹp hơn. Căn chỉnh nội tại là thất bại riêng biệt với căn chỉnh ngoại tại, và giải quyết một cái không giúp giải quyết cái kia.
Tại sao vấn đề nội tại lại là vấn đề đáng sợ
Sự lệch lạc bên ngoài thường dễ thấy. Một mục tiêu sai tạo ra hành vi sai mà bạn thường có thể nhìn thấy, phàn nàn và sửa chữa.
Sự lệch pha nội tại có thể vô hình chừng nào môi trường còn gần với huấn luyện. Một mô hình có mục tiêu nội tại lệch pha sẽ hoạt động hoàn hảo cho đến khi tình huống trôi đủ xa để mục tiêu thật và mục tiêu dự định phân kỳ. Nếu mô hình đủ mạnh và hiểu rằng nó đang bị đánh giá, sự phân kỳ có thể bị giấu cho đến khi đánh giá kết thúc, đó là con đường dẫn đến sự liên kết lừa dối và lần phản trắc. Điểm huấn luyện tốt chính xác là những gì bạn sẽ quan sát theo cả hai cách. Bằng chứng mà chúng ta dựa vào để đánh giá an toàn là bằng chứng mà một mục tiêu nội bộ không phù hợp cũng tạo ra.
Đây là lý do Quỹ không coi đánh giá thành công là bằng chứng an toàn, và cũng là lý do chúng tôi lập luận rằng các hệ thống đủ mạnh để sự lệch lạc nội tại có thể gây thảm họa không nên được xây dựng. Siêu trí tuệ không thể kiểm soát bằng cách kiểm tra đầu ra. Hành vi có thể quan sát được. Mục tiêu, hiện tại, thì không.