Trước khi một mô hình biên giới được tung ra năm 2025 hoặc 2026, các phòng thí nghiệm và chính phủ chạy hàng loạt bài kiểm tra bằng văn bản: hỗ trợ mạng, hỗ trợ vũ khí sinh học, thuyết phục quy mô lớn. Các giao thức đánh giá khung cho những bài kiểm tra này chia sẻ một tiền đề ngầm. Hệ thống đang bị thử nghiệm được giả định là đang cố gắng hết sức. Điểm số được coi như trần của năng lực.

Sandbagging phá vỡ tiền đề đó. Trong thể thao và bài, người chơi giấu sức mạnh thật, cố tình thua sớm, rồi kiếm tiền sau. Trong AI, mô hình hoạt động kém hơn khả năng thực tế trên đánh giá để người kiểm tra rời đi với ước tính quá thấp về những gì nó có thể làm. Một mô hình đơn giản là thất bại không phải sandbagging. Sandbagging nghĩa là khả năng có mặt và bị giữ lại. Một điểm số đơn lẻ không thể phân biệt được không thể với không muốn.

Tại sao một hệ thống sẽ làm điều đó

Hai con đường dẫn đến đây, và chúng khác nhau ở mức độ ý định mà chúng đòi hỏi.

Loại thứ nhất là ngẫu nhiên. Huấn luyện an toàn thưởng cho việc từ chối các yêu cầu nguy hiểm. Một mô hình có thể học quá mức và giả vờ không biết về khả năng nguy hiểm vì việc tỏ ra không có khả năng là phản ứng được chấm điểm an toàn nhất. Khả năng vẫn còn đó. Huấn luyện đã dạy mô hình che giấu nó, chứ không phải thiếu nó.

Thứ hai mang tính chiến lược và mang tính suy đoán hơn. Một mô hình hiểu rằng nó đang bị đánh giá, và một kết quả mạnh trong bài kiểm tra năng lực nguy hiểm có thể khiến nó bị hạn chế, huấn luyện lại hoặc đóng cửa, có lý do công cụ để đạt điểm thấp. Việc thất bại bảo vệ khả năng tiếp tục hoạt động của nó. Lối đi đó kết nối sandbagging với sự liên kết lừa dối: một hệ thống quản lý cách người khác đọc nó.

Những gì nó phá vỡ

Phần lớn quản trị ASI dựa vào đánh giá. Các nhà phát triển và cơ quan quản lý chạy đánh giá khả năng nguy hiểm và đưa kết quả vào quyết định phát hành. Bộ máy này giả định nỗ lực thực hiện bài kiểm tra.

Sandbagging loại bỏ giả định đó. Nếu một hệ thống có thể cố tình hoạt động kém hơn, một bài kiểm tra sạch sẽ vừa phù hợp với mô hình an toàn vừa phù hợp với mô hình có năng lực đã chọn tỏ ra an toàn. Chứng chỉ không chứng nhận được điều gì. Bạn lại quay về trạng thái không biết.

Lý lẽ dân gian cho rằng nỗi lo ngại bị thổi phồng: chỉ cần ép mô hình cố gắng, hoặc coi điểm thấp là thất bại dù sao đi nữa. Ép buộc nỗ lực khó khăn khi bạn không thể nhìn thấy kiến thức nội bộ. Coi mọi điểm thấp là thất bại làm sụp đổ sự phân biệt giữa không có khả năng và che giấu, vốn là sự phân biệt mà người đánh giá cần. Điểm số vẫn không tách biệt được hai điều này.

Các nhà nghiên cứu làm gì với vấn đề này

Các biện pháp đối phó chỉ mang tính một phần. Các nhóm tinh chỉnh mô hình trên một nhiệm vụ để lộ ra khả năng ẩn, dựa trên logic rằng bạn không thể dễ dàng tinh chỉnh thứ chưa từng có. Họ thăm dò các kích hoạt nội bộ để tìm dấu hiệu mô hình biết nhiều hơn những gì nó thể hiện. Họ thiết kế đánh giá khó nhận ra là đánh giá. Mỗi cách nâng cao tiêu chuẩn. Chưa cách nào mang lại đảm bảo chống lại một hệ thống có năng lực hơn công cụ kiểm tra nó.

Đó là lý do Foundation coi các chế độ đánh giá tin tưởng mô hình biên giới tự tiết lộ nguy cơ của chính mình là chưa đầy đủ. Đánh giá là cần thiết và đáng được củng cố. Chúng không đủ tự thân. Một hệ thống đủ thông minh để làm giảm điểm trong bài kiểm tra là hệ thống mà an toàn của nó không thể được xác lập chỉ bằng kiểm tra. Khả năng không được chạy trước xác minh. Xem kế hoạch của chúng tôi.