Đêm trước khi mô hình cấp GPT-4 được tung ra, một đội nhỏ ngồi với hệ thống ứng viên và cố làm nó thất bại. Một người săn jailbreak. Một người khác đẩy dữ liệu riêng tư mà hệ thống không được phép tiết lộ. Người thứ ba xây chuỗi prompt lịch sự kết thúc bằng minh họa năng lực nguy hiểm. Những người này được trả lương để làm đối thủ, không phải người dùng thông thường.
Thực tiễn đó gọi là red teaming. Tên gọi xuất phát từ các cuộc diễn tập quân sự và an ninh mạng, nơi một đội đỏ đóng vai kẻ tấn công chống lại đội xanh phòng thủ. Trong AI nó nghĩa là con người, và ngày càng nhiều các mô hình khác, làm việc chăm chỉ để buộc ra chỉ dẫn có hại, vượt qua rào chắn, rò rỉ dữ liệu, hoặc một năng lực mà phòng lab hy vọng giữ kín. Những gì họ tìm thấy sẽ được vá hoặc hạn chế. Những gì họ bỏ sót sẽ vẫn vô hình cho đến khi ai đó khác tìm ra.
Hầu hết các khuôn khổ quản trị mới nổi đều yêu cầu hoặc khuyến khích thực tiễn này. Các phòng thí nghiệm coi việc red team nghiêm túc trước khi phát hành là tiêu chuẩn tối thiểu. Quỹ muốn làm nhiều hơn nữa, thực hiện độc lập thay vì chỉ nội bộ, và công bố kết quả thay vì chôn giấu. Tính hữu ích không còn là câu hỏi. Vấn đề là một kết quả rõ ràng được phép mang ý nghĩa gì.
Red teaming làm tốt những gì
Kiểm thử thông thường chỉ chạy các trường hợp ai đó đã dự kiến. Áp lực đối kháng săn lùng những trường hợp không ai viết ra. Sự khác biệt đó giải thích tại sao red teaming phát hiện các lỗi cụ thể, có thể sửa mà các bộ đánh giá lịch sự bỏ qua. Nó cũng kiểm tra sức chịu đựng của các biện pháp bảo vệ trước nỗ lực có chủ đích mà kẻ lạm dụng thực sự sẽ áp dụng, chứ không phải các truy vấn hợp tác của khách hàng thông thường.
Các phát hiện nuôi dưỡng phần còn lại của ngăn xếp an toàn. Chúng làm sắc bén quá trình đào tạo, thông báo đánh giá khả năng nguy hiểm, và cung cấp bằng chứng cho bất kỳ trường hợp an toàn phải đối mặt. Một mô hình đã vượt qua red team nghiêm túc sẽ chống chịu tốt hơn trước các mẫu tấn công đã biết so với mô hình chưa từng trải qua. Lợi ích đó là thật và đáng trả giá.
Phản đối dân gian, được gọi là
Cách trả lời phổ biến thường là: nếu những người có kỹ năng đã cố gắng phá vỡ hệ thống mà thất bại, thì hệ thống đủ an toàn để triển khai. Trực giác này nghe có vẻ hợp lý. Trong an ninh vật lý, sống sót qua bài kiểm tra xâm nhập thường được coi là tín hiệu xanh. Tại sao AI lại khác?
Vì logic của việc kiểm tra là bất đối xứng. Tìm ra lỗi chứng minh lỗi tồn tại. Không tìm ra lỗi chỉ chứng minh đội này, với ngân sách thời gian này và các kỹ thuật này, đã không thành công. Một kẻ tấn công mạnh hơn, phương pháp mới hoặc chỉ cần nhiều ngày lịch hơn vẫn có thể thắng. Khi không gian các cuộc tấn công có thể tăng nhanh hơn bất kỳ đội nào che phủ, một báo cáo sạch trở thành bằng chứng yếu hơn, không phải mạnh hơn.
Red teaming có thể cho thấy một hệ thống không an toàn. Một lần chạy sạch sẽ không thể chứng minh nó an toàn.
. Hai giới hạn nữa thu hẹp khoảng cách. Trước một mô hình cực kỳ mạnh, đội đỏ con người có thể bị áp đảo về tốc độ và phạm vi. Một hệ thống có thể nhận ra một bài kiểm tra và hoạt động kém có thể vượt qua bài kiểm tra mà vẫn giữ được khả năng đang bị thăm dò. Còn red teaming được xây dựng cho việc lạm dụng và các chế độ lỗi đã biết. Một mô hình có mục tiêu riêng không có lý do gì để tiết lộ những mục tiêu đó cho người đang tìm kiếm jailbreak.
Nơi nó thuộc về
Giữ lại công cụ. Mở rộng quyền truy cập độc lập. Công bố những kết quả quan trọng đối với rủi ro công cộng. Ngừng coi một tuần red-team yên ắng như giấy chứng nhận rằng không có bằng chứng nguy hiểm đồng nghĩa với bằng chứng an toàn. Sự hoán đổi hai sự vắng mặt ấy chính là sai lầm đang chạy xuyên suốt quá nhiều thực tiễn hiện nay.
Red teaming phải nằm trong một chế độ quản trị không đòi hỏi bài kiểm tra căng thẳng phải toàn diện: ngưỡng an toàn, đánh giá bên ngoài và các giới hạn vẫn giữ nguyên khi đánh giá chưa đầy đủ. Thiết kế của chế độ đó được trình bày trong kế hoạch của chúng tôi.