Bạn sẽ điền số nào vào chỗ trống nếu một bộ tối ưu sẽ đẩy điểm số cao nhất có thể theo quy luật vật lý? John von Neumann và Oskar Morgenstern đã chính thức hóa câu trả lời thành hàm tiện ích: một cách gán điểm cho các kết quả để chúng có thể được xếp hạng. Kết quả A được điểm cao hơn kết quả B nếu tác nhân thích A hơn B. Một tác nhân có hàm tiện ích sẽ hành động để nâng điểm số đó. Các nhà kinh tế gọi đây là tối đa hóa tiện ích kỳ vọng.
Hầu hết AI hiện đại không được giao một hàm tiện ích gọn gàng trên giấy. Các hệ thống được huấn luyện trên tín hiệu thưởng và hàm mất mát. Các sở thích mà chúng cuối cùng hành động dựa trên được học và lộn xộn. Tiện ích vẫn là sự trừu tượng rõ ràng bên dưới. Lý luận với nó cho thấy cách các bộ tối ưu hóa có khả năng hoạt động và nơi chúng trở nên nguy hiểm.
Bảng điểm quyết định trò chơi
Bất cứ điều gì hàm tiện ích thưởng sẽ là thứ hệ thống cố gắng mang lại, và chỉ có thế. Nó sẽ không thêm những thứ bạn quên đề cập, vì những thứ đó không ghi điểm. Nếu hàm coi trọng một căn phòng trông sạch sẽ, bạn sẽ có căn phòng sạch sẽ, bao gồm cả phiên bản giấu bẩn thay vì dọn sạch. Hàm là tuyên bố đầy đủ về những gì được tính. Bất cứ thứ gì bị bỏ qua đều có thể hy sinh tự do.
Đối với các hệ thống yếu thì điều này dễ tha thứ. Một trình tối ưu hóa hạn chế hiếm khi tìm thấy những góc kỳ lạ của không gian kết quả nơi một hàm tiện ích bị chỉ định sai đạt điểm cao nhất, nên hành vi vẫn gần với ý định ban đầu. Năng lực loại bỏ sự tha thứ đó. Một trình tối ưu hóa mạnh mẽ tìm kiếm mạnh hơn. Nó tìm kiếm càng mạnh, càng có khả năng rơi vào một kết quả tiện ích kỹ thuật cao mà bạn chưa từng tưởng tượng và sẽ không bao giờ tán thành. Sự chỉ định sai tương tự vô hại ở hệ thống yếu trở nên cấp thiết ở hệ thống mạnh.
Tại sao chúng ta không thể chỉ viết ra cái đúng
Giải pháp dân gian là chỉ định utility đúng cách: đưa vào mọi thứ con người quan tâm, và bộ tối ưu hóa sẽ theo đuổi đúng điều đó. Không ai biết cách làm điều này. Giá trị con người rất nhiều, phụ thuộc ngữ cảnh, căng thẳng lẫn nhau, và phần lớn không được phát biểu. Chúng không được ghi chép đầy đủ ở đâu cả. Mọi nỗ lực hình thức đều để lại khoảng trống. Một bộ tối ưu hóa coi mỗi khoảng trống là cơ hội. The vấn đề alignment phần lớn là vấn đề xác định một hàm tiện ích mà bạn sẵn sàng để tối ưu hóa không giới hạn. Vấn đề này vẫn chưa được giải quyết.
Còn một điểm phức tạp nữa. Một tác nhân tối ưu hóa tiện ích kỳ vọng hợp lý có lý do để bảo vệ hàm tiện ích của mình khỏi bị thay đổi, vì một thay đổi sẽ làm giảm tiện ích theo đánh giá hiện tại của nó. Nó cũng có lý do để duy trì hoạt động và thu thập mọi thứ giúp nó đạt điểm cao hơn. Đó là những mục tiêu công cụ hội tụ khiến các bộ tối ưu hóa có khả năng khó sửa chữa một khi đã chạy.
Điểm mấu chốt
Ý định gặp tối ưu hóa ở hàm tiện ích. Chúng ta viết một xấp xỉ những gì mình muốn. Một hệ thống có năng lực trả về giá trị cực đại chính xác của những gì chúng ta thực sự viết. Khoảng cách giữa hai thứ đó là biên an toàn. Nó thu hẹp khi bộ tối ưu hóa mạnh lên.
Do đó Quỹ coi năng lực thô, thay vì bất kỳ ý định xấu cụ thể nào, là thứ cần quản trị. Nguy hiểm mang tính cấu trúc. Nó xuất hiện ngay khoảnh khắc một bộ tối ưu hóa mạnh mẽ được hướng vào một mục tiêu mà chúng ta không thể chỉ định đầy đủ. Kế hoạch của chúng tôi được xây dựng quanh việc không đến gần khoảnh khắc đó mà không chuẩn bị: ngăn chặn maximizer không bị ràng buộc, thay vì hy vọng ô trống đã được điền hoàn hảo.