Jason Wei và các đồng tác giả tại Google cùng nơi khác đã liệt kê các nhiệm vụ mà hiệu suất nằm gần mức ngẫu nhiên cho đến khi quy mô mô hình vượt ngưỡng, sau đó tăng vọt. Toán học đa bước, câu hỏi chuyên ngành, hướng dẫn bằng ngôn ngữ hiếm trong dữ liệu huấn luyện, chuỗi bước suy luận: không cái nào được thiết kế sẵn như một tính năng. Chúng xuất hiện khi mô hình lớn lên. Bài báo gọi chúng là khả năng nổi sinh.
Một khả năng mới nổi, theo cách dùng đó, là năng lực mà mô hình nhỏ hơn không có còn mô hình lớn hơn có, trong đó sự chuyển tiếp trông ít giống đường dốc mượt mà hơn là một công tắc. Dưới một quy mô nào đó mô hình không làm được nhiệm vụ. Vượt qua quy mô đó thì làm được. Khả năng ấy không thể đọc được từ xu hướng của các hệ thống nhỏ hơn.
Một cuộc tranh luận thực sự đáng chú ý
Sự bùng nổ năng lực chưa phải là khoa học đã định hình. Một số nhà nghiên cứu cho rằng một phần các bước nhảy được báo cáo chỉ là hiện tượng đo lường: thước đo khắt khe kiểu tất cả hoặc không gì làm cho tiến bộ thực chất vốn đều đặn trông như đột ngột, trong khi thước đo mượt mà hơn lại cho thấy sự cải thiện dần dần. Phê phán này nhắm vào một số trường hợp cụ thể và đáng được xem xét công bằng.
Nó không giải quyết vấn đề thực tiễn. Dù một năng lực đến như một sự gián đoạn thực sự hay như một đường cong dốc chỉ được nhận ra sau khi vượt ngưỡng, tình huống quản trị vẫn giống nhau. Chúng ta biết một mô hình có thể làm điều gì đó mới sau khi nó có thể làm, chứ không phải trước. Đối với một nhà hoạch định chính sách quyết định liệu lần chạy huấn luyện tiếp theo có an toàn để phê duyệt hay không, sự khác biệt giữa sự xuất hiện thực sự và một đường cong sắc nét là mang tính học thuật. Dù sao thì bất ngờ cũng nằm ở phía bên kia của quyết định.
Tại sao sự khó lường là vấn đề cốt lõi
Chúng ta không thể dự đoán đáng tin cậy, trước khi huấn luyện mô hình lớn hơn, danh sách đầy đủ những thứ nó sẽ làm được. Định luật quy mô dự báo khá tốt các thước đo hiệu suất rộng như loss. Chúng không chỉ rõ những khả năng cụ thể nào sẽ xuất hiện, hay khi nào. Khả năng dễ dự đoán hơn ở tổng thể so với chi tiết.
Đối với hầu hết các khả năng thì điều đó chỉ thú vị. Đối với những khả năng liên quan đến an toàn thì nó đáng báo động. Sự khó đoán tương tự mang lại tài năng bất ngờ về dịch thuật cũng có thể mang lại tài năng bất ngờ cho các nhiệm vụ được đề cập trong đánh giá khả năng nguy hiểm: hỗ trợ mạng, hỗ trợ vũ khí sinh học, thao túng quy mô lớn. Một năng lực không ai dự đoán trước là năng lực không ai thử nghiệm và không ai xây dựng biện pháp bảo vệ.
Chúng ta có thể dự báo khá chính xác mô hình tiếp theo sẽ tốt đến mức nào trên các chỉ số trung bình. Chúng ta không thể dự báo mọi thứ nó sẽ làm được. Khoảng cách đó chính là nơi rủi ro nằm.
Điều đó có ý nghĩa gì đối với cách chúng ta mở rộng quy mô
Sự xuất hiện biến mỗi bước nhảy lớn về quy mô thành bước vào bóng tối một phần. Bạn xây dựng một hệ thống mà hồ sơ năng lực hoàn chỉnh chỉ biết được sau khi nó tồn tại. Đến lúc đó, nếu một năng lực nguy hiểm đi kèm, hệ thống đã sở hữu nó. Đó là rủi ro khác với mối nguy đã biết mà bạn có thể đo lường và giảm thiểu trước.
Lập luận của Foundation rất rõ ràng. Việc mở rộng quy mô frontier không được chạy trước khả năng hiểu rõ những gì đang được tạo ra. Gánh nặng phải nằm ở việc chứng minh một hệ thống mới lớn là an toàn trước khi nó được huấn luyện và triển khai, chứ không phải phát hiện nguy hiểm sau đó. Khi năng lực có thể xuất hiện bất ngờ, thì sự thận trọng trước khi nhảy mới là thứ thực sự có ích. Khung lập luận này nằm trong kế hoạch của chúng tôi. Các mốc thời gian rút ngắn làm tăng rủi ro được đề cập trong AGI dòng thời gian.