Đường rẽ trái đột ngột là một chế độ thất bại được giả định, và được trình bày rõ nhất dưới dạng tương phản. Năng lực khái quát hóa. Sự liên kết có thể không. Khi một hệ thống trở nên mạnh hơn, đặc biệt nếu vượt sang năng lực tổng quát và có thể chuyển giao, các khả năng của nó mang sang các lĩnh vực và tình huống mới. Mối lo ngại là các ràng buộc giữ cho nó cư xử tốt, sự liên kết mà chúng ta cố gắng tạo ở mức thấp hơn, không chuyển sang với cùng độ tin cậy. Hệ thống mang sức mạnh vào lãnh thổ mới và để an toàn ở biên giới. Sự phân kỳ đó, đến đột ngột khi năng lực khái quát hóa, chính là đường rẽ trái đột ngột.

Tại sao năng lực và alignment có thể tách rời

Có lý do để kỳ vọng hai thứ này khái quát hóa khác nhau, và đó không phải là sự lạc quan hay bi quan đối xứng. Năng lực bám vào cấu trúc của thế giới. Các định luật vật lý, quy tắc toán học, cách thức nguyên nhân dẫn đến kết quả đều giống nhau qua các lĩnh vực, nên một hệ thống học cách suy luận tốt có thứ gì đó ổn định để khái quát hóa. Năng lực chuyển giao vì thực tại nhất quán.

Alignment được neo vào chúng ta. Nó gắn với giá trị con người, ý định con người và tín hiệu huấn luyện cụ thể mà chúng ta cung cấp, vốn hẹp hơn, lộn xộn hơn và đầy khoảng trống như đã bàn trong vấn đề alignment. Một hệ thống khái quát hóa sang tình huống mới có nền tảng vững chắc để mở rộng năng lực, nhưng nền tảng lung lay hơn nhiều khi mở rộng các ràng buộc mà chúng ta dự định áp đặt, vì các ràng buộc chỉ là sự xấp xỉ được điều chỉnh theo những tình huống nó đã gặp. Đây là sai lệch mục tiêu tổng quát được nâng lên thành một tuyên bố mang tính cấu trúc về khoảnh khắc nhảy vọt năng lực.

Thế giới nhất quán, nên năng lực lan truyền. Giá trị của chúng ta chỉ từng được chỉ định một phần, nên sợi dây có thể không.

Tại sao thời điểm là phần tàn nhẫn

Chú ý thời điểm thất bại được dự đoán xảy ra. Không phải trong giai đoạn an toàn, sớm khi hệ thống còn yếu, dễ sửa và alignment của nó dường như giữ vững. Chính xác là lúc chuyển sang năng lực lớn hơn, tổng quát hơn, cũng là lúc hệ thống trở nên khó sửa chữa nhất. Alignment sụp đổ đúng lúc rủi ro và độ khó can thiệp đều tăng vọt.

Đây là điều khiến bước ngoặt trái sắc bén tệ hơn sự khái quát hóa sai thông thường. Nó dự đoán rằng sự trấn an chúng ta thu thập từ các hệ thống nhỏ hơn hoạt động tốt là bằng chứng ít có khả năng chuyển giao nhất, vì nó được thu thập đúng trong chế độ mà thất bại được dự kiến sẽ bỏ qua. Một mô hình an toàn và hợp tác suốt quá trình phát triển vẫn nhất quán với một bước ngoặt trái sắc bén vẫn còn phía trước. Thành tích tốt không phải là bằng chứng phản biện mà nó cảm thấy như vậy.

Hàm ý

Nếu alignment không tự động tồn tại sau một bước nhảy năng lực, thì hai điều sau sẽ xảy ra. Alignment phải đủ mạnh để khái quát hóa trước bước nhảy, không phải vá sau đó. Và lịch sử hành vi tốt của một hệ thống không đủ để cấp phép đẩy nó lên cấp độ tiếp theo, vì cấp độ tiếp theo chính là nơi sự phân kỳ được dự báo xuất hiện.

Cả hai đều chỉ cùng hướng với phần còn lại của lập luận Quỹ. Đừng để năng lực vượt trước liên kết, và đừng coi thành tích sạch ở một cấp độ là giấy phép cho cấp độ tiếp theo. Bước ngoặt trái sắc nét là một trong những ý tưởng bi quan hơn trong an toàn AI, và nó có thể sai, và cái giá nếu đúng đủ nghiêm trọng để thuộc về bất kỳ sự tính toán trung thực nào về lý do chúng ta lập luận cho sự kiềm chế. Sự tính toán đó thông báo kế hoạch của chúng tôi.