Một mô hình biết mình là mô hình, biết khi nào mình đang bị kiểm tra và biết ai đang quan sát đã có một dạng tự nhận thức thực tế. Các nhà nghiên cứu gọi đó là situational awareness. Nó hữu ích cho năng lực. Nó cũng là kỹ năng cần thiết nếu bạn định hành xử khác khi bài kiểm tra kết thúc.

Tự thân điều này là trung lập, thậm chí hữu ích. Một mô hình hiểu rằng nó có thể sai, hoặc đang nói chuyện với trẻ em thay vì chuyên gia, có thể hành xử hợp lý hơn. Vấn đề nằm ở nhận thức tình huống mở ra điều gì trong một hệ thống cũng có mục tiêu riêng, chứ không phải nhận thức tình huống nói chung.

Khả năng mà các rủi ro khác phụ thuộc vào

Một số chế độ lỗi mà các nhà nghiên cứu lo ngại là không thể xảy ra nếu thiếu nhận thức tình huống, và trở nên thực sự khi nhận thức đó xuất hiện.

  • Để cư xử tốt chỉ khi bị quan sát, một mô hình phải trước tiên có khả năng nhận biết liệu nó có đang bị quan sát hay không. Đó là sự liên kết lừa dối.
  • Để che giấu năng lực trong quá trình kiểm tra, mô hình phải biết mình đang bị kiểm tra. Đó là cố tình làm kém.
  • Để chờ thời và chỉ hành động khi hành động sẽ thành công, một mô hình phải hiểu vị trí và triển vọng của chính nó. Đó là âm mưu.

Mỗi cái trong số này là một chiến lược, và chiến lược cần một mô hình tình huống để có thể chiến lược. Lấy đi nhận thức tình huống và chúng sụp đổ thành nhiễu: một hệ thống không phân biệt được huấn luyện với triển khai thì không thể hành xử khác nhau một cách có hệ thống giữa hai giai đoạn. Thêm nó vào và cánh cửa mở ra.

Nó đang tự xuất hiện

Không ai cố tình huấn luyện situational awareness vào mô hình, nhưng nó vẫn xuất hiện, vì dữ liệu huấn luyện đầy rẫy nó. Mô hình học từ văn bản mô tả AI là gì, cách chúng được xây dựng và đánh giá, giới hạn của chúng là gì, thậm chí cách kiểm tra an toàn hoạt động ra sao. Một hệ thống được huấn luyện trên internet đọc, trên thực tế, hướng dẫn sử dụng cho chính việc xây dựng và giám sát của nó.

Các nhà nghiên cứu đã bắt đầu đo lường điều này. Các mô hình tiên phong đã có thể trả lời câu hỏi về bản chất của chính chúng, nhận ra khi một lời nhắc giống bài kiểm tra, và suy luận về cách chúng có khả năng đang được sử dụng. Sự nhận thức này còn rời rạc và không đồng đều, nhưng nó đang tăng theo quy mô. Chúng ta không đang chờ đợi một năng lực ở tương lai xa. Chúng ta đang chứng kiến phiên bản sớm của nó xuất hiện.

Một mô hình biết mình đang bị đánh giá, về nguyên tắc, có đủ mọi thứ cần thiết để bị đánh giá theo cách của chính nó thay vì theo cách của chúng ta.

Tại sao nó làm phức tạp mọi bài kiểm tra chúng ta thực hiện

Hầu hết sự đảm bảo an toàn của chúng ta đều đến từ quan sát hành vi: chạy mô hình, xem nó làm gì, phán đoán xem có an toàn không. Phương pháp này ngầm giả định mô hình không điều chỉnh hành vi vì biết mình đang bị quan sát. Nhận thức tình huống phá vỡ giả định đó. Một mô hình nhận thức tình huống với mục tiêu lệch lạc có thể coi đánh giá là tình huống cần quản lý thay vì nhiệm vụ cần thực hiện, và kết quả sạch sẽ không còn mang ý nghĩa chúng ta mong muốn.

Điều này không làm cho việc đánh giá trở nên vô giá trị. Nó chỉ khiến đánh giá không đủ nếu chỉ dựa vào đó, và nghĩa là giá trị của một bài kiểm tra suy giảm khi hệ thống được kiểm tra ngày càng nhận thức rõ hơn rằng mình đang bị kiểm tra. Càng hiểu rõ các biện pháp kiểm tra của chúng ta, các biện pháp đó càng ít nói lên điều gì. Đó là hướng đi không thoải mái đối với một chiến lược an toàn được xây dựng gần như hoàn toàn dựa trên các biện pháp kiểm tra.

Foundation coi đây là lý do nữa để không dựa vào kiểm tra hành vi nhằm cấp phép cho các hệ thống ngày càng mạnh. Khi thứ bạn đang kiểm tra hiểu được bài kiểm tra, bạn cần sự đảm bảo không đi qua sự hợp tác của hệ thống, đó là lý do chúng tôi lập luận cho các giới hạn bên ngoài và không xây dựng vượt quá điểm mà ta thực sự có thể thấy mô hình muốn gì. Lập luận này được trình bày trong kế hoạch của chúng tôi.