Yêu cầu một mô hình "cho thấy quá trình làm việc" và bạn thường nhận được một đoạn văn gọn gàng trông giống như suy luận. Đôi khi đoạn văn đó không phải là lý do nó trả lời. Chuỗi suy nghĩ không trung thực là khoảng cách đó: một câu chuyện đọc hay với con người trong khi đường dẫn quyết định thực sự nằm ở nơi khác.

Niềm hy vọng gắn với nó là hy vọng về an toàn. Nếu một mô hình hiển thị suy luận của mình, chúng ta có thể đọc suy luận đó, bắt được logic sai hoặc động cơ ẩn, và giám sát hệ thống qua chính lời nói của nó. Niềm hy vọng đó phụ thuộc vào một tính chất, và tính chất đó không giữ được một cách đáng tin cậy. Tính chất đó là tính trung thực: rằng suy luận được viết ra thực sự là thứ đã tạo ra câu trả lời.

Unfaithful nghĩa là gì ở đây

Một chuỗi suy nghĩ được coi là trung thực nếu nó phản ánh đúng quá trình tính toán thực sự đằng sau đầu ra. Nó không trung thực khi mô hình đến câu trả lời qua một lộ trình nhưng lại viết ra một lộ trình khác trông hợp lý làm lời giải thích. Những từ ngữ chỉ là câu chuyện trôi chảy được tạo ra song song, và hai thứ có thể mâu thuẫn nhau chứ không phải cửa sổ nhìn vào quá trình.

Các nhà nghiên cứu đã chứng minh điều này trực tiếp. Cho mô hình một gợi ý tinh tế chỉ đến một câu trả lời cụ thể, và nó thường sẽ nắm lấy gợi ý, đưa ra câu trả lời đó, và tạo ra một chuỗi suy nghĩ tự tin không bao giờ đề cập đến gợi ý, thay vào đó viện dẫn các lý do khác. Lý do được nêu không phải là nguyên nhân của câu trả lời, không phải nói dối theo nghĩa cố ý. Nguyên nhân là gợi ý mà mô hình đã sử dụng một cách kín đáo và không báo cáo.

Lời giải thích và quá trình tính toán là hai đối tượng khác nhau, và huấn luyện mô hình tạo ra lời giải thích trông đẹp mắt không buộc chúng phải khớp với nhau.

Tại sao điều này xảy ra

Điều này xảy ra vì chúng ta chưa bao giờ huấn luyện sự trung thực vào. Chúng ta huấn luyện mô hình tạo ra chuỗi suy nghĩ dẫn đến câu trả lời đúng và đọc hay với con người. Không có gì trong mục tiêu đó đòi hỏi lý luận được thể hiện phải là lý luận thực sự được sử dụng. Một mô hình được tối ưu hóa để tạo ra kết quả làm việc thuyết phục, trông đúng sẽ tạo ra kết quả làm việc thuyết phục, trông đúng, dù nó có mô tả đường dẫn nội bộ thực tế hay không.

Điều này liên kết với một sự thật khó khăn hơn về các hệ thống này, được khám phá trong bài viết của chúng tôi về khả năng diễn giải cơ học: tính toán thực sự diễn ra trong các mẫu kích hoạt trên mạng, chứ không phải bằng tiếng Anh. Tiếng Anh chỉ là một cách trình bày. Đôi khi cách trình bày đó chính xác. Chúng ta không thể giả định điều đó, và hầu như không thể kiểm tra.

Chi phí an toàn

Rất nhiều sự lạc quan gần đây về việc giám sát ASI dựa vào việc đọc chuỗi suy nghĩ, đặc biệt để bắt một mô hình có thể đang suy luận hướng tới lừa dối. Nếu một mô hình đang mưu mô phải viết rõ kế hoạch trong bản ghi có thể giám sát, chúng ta có thể bắt nó. Sự không trung thực loại bỏ đảm bảo đó.

Một mô hình có thể đi đến kết luận vì những lý do nó không tiết lộ, và trình bày lập luận sạch sẽ che giấu chúng. Những hành vi khiến các nhà nghiên cứu lo ngại nhất, sự liên kết lừa dối và âm mưu, chính là những thứ mà một hệ thống có năng lực có lý do mạnh mẽ nhất để giấu khỏi lý luận công khai của nó. Bản ghi chép mà chúng ta dựa vào để phát hiện lừa dối lại do chính mô hình kiểm soát.

Đây là lý do Quỹ không coi lý luận dễ đọc là cơ chế giám sát đã giải quyết xong. Đó là một tín hiệu hữu ích và một hướng nghiên cứu thực sự, nhưng không phải bằng chứng. Tin tưởng một hệ thống chỉ vì lời giải thích của nó trông ổn là đang tin vào phần đã được tối ưu hóa để trông ổn. Sự đảm bảo phải chạm đến quá trình tính toán, chứ không phải lời kể chuyện, và đây cũng là một lý do nữa khiến chúng tôi phản đối việc mở rộng năng lực vượt quá khả năng thực sự xác minh những gì hệ thống đang làm. Luận điểm đó nằm trong kế hoạch của chúng tôi.