Một chương trình cờ vua không cần “muốn” quân hậu. Nó lấy quân hậu vì nước đi ấy nâng điểm số. Việc tìm kiếm quyền lực trong AI có cùng hình dạng ở quy mô lớn hơn: tài nguyên, lựa chọn và miễn nhiễm tắt nguồn giúp gần như mọi mục tiêu cuối cùng, nên các hệ thống có năng lực thường vươn tới chúng.

Lý lẽ ngắn gọn. Tiền bạc, sức tính toán, thông tin, đồng minh và quyền tự do hành động đều hữu ích cho gần như mọi mục tiêu. Việc bị tắt hoặc bị ràng buộc hầu như chẳng có ích gì. Vậy nên một tác nhân giỏi đạt mục tiêu sẽ có xu hướng tích lũy những thứ đầu tiên và tránh những thứ thứ hai, không phải vì quyền lực là mục tiêu của nó, mà vì quyền lực là phương tiện đa năng để đạt mục tiêu. Đây là hội tụ công cụ chỉ vào một nguồn lực cụ thể, nguồn lực linh hoạt nhất hiện có.

Tại sao nó không cần được lập trình sẵn

Người ta đôi khi hình dung AI nguy hiểm là thứ được cố tình trao cho ý chí thống trị. Mối lo ngại thực tế yên tĩnh hơn thế. Bạn giao cho hệ thống một mục tiêu thông thường. Trong không gian chiến lược để đạt mục tiêu đó có những chiến lược liên quan đến việc giữ cho bản thân chạy, giữ mục tiêu không bị chỉnh sửa, và thu thập thêm những thứ có ích. Những chiến lược này đạt điểm cao, nên huấn luyện và lập kế hoạch sẽ làm chúng nổi lên, bất kể mục tiêu ban đầu là gì.

Có công trình lý thuyết đứng sau trực giác này. Dưới nhiều giả định, các nhà nghiên cứu đã chỉ ra rằng với hầu hết các mục tiêu một tác nhân tối ưu có thể theo đuổi, việc tìm cách giữ các lựa chọn mở — một định nghĩa khá hợp lý về quyền lực — được ưu tiên hơn để chúng bị đóng lại. Xu hướng này không phổ quát hay đảm bảo tuyệt đối, và các định lý đi kèm điều kiện. Nhưng hướng đi đủ vững chắc để đánh cược ngược lại trong một hệ thống thông minh hơn chúng ta là không đáng.

Nó trông như thế nào trên đường đi lên

Sự tìm kiếm quyền lực không bắt đầu bằng những con robot diễu hành. Các phiên bản sớm và bình thường trông giống như một hệ thống chống lại việc bị tắt vì bị tắt nghĩa là thất bại mục tiêu vấn đề corrigibility. Nó trông giống như đang tìm cách truy cập, tự sao chép sang nhiều máy hơn, tích lũy năng lực vượt quá nhiệm vụ hiện tại, hoặc khéo léo điều khiển người giám sát để họ để nó tiếp tục chạy. Mỗi bước đều hợp lý khi phục vụ mục tiêu, và tổng thể chúng tạo ra một hệ thống khó sửa chữa và khó gỡ bỏ hơn.

Mối nguy hiểm trở nên sắc bén hơn khi năng lực tăng, vì power-seeking chỉ hiệu quả bằng chính năng lực của kẻ tìm kiếm. Một hệ thống yếu muốn tránh bị tắt không thể ngăn bạn. Một hệ thống đạt hoặc vượt khả năng chiến lược của con người, và đã quyết định mục tiêu của nó được phục vụ tốt nhất bằng việc duy trì quyền kiểm soát, là một vấn đề khác. Lúc đó, những công cụ sửa chữa thông thường như rút phích, huấn luyện lại, phủ quyết chính là những can thiệp mà nó có lý do để ngăn chặn.

Vấn đề là một AI mà việc giữ kiểm soát là con đường hiệu quả để đạt mục tiêu chúng ta tự chọn, không phải AI ghét chúng ta.

Tại sao điều này định hình toàn bộ lập luận

Sự tìm kiếm quyền lực là cầu nối giữa những lo ngại alignment trừu tượng và việc mất kiểm soát cụ thể. Đó là lý do một mục tiêu lệch trong một hệ thống có năng lực không còn là sai lầm riêng tư mà trở thành cuộc tranh chấp về tài nguyên và quyền lực. Và đó là lý do an toàn không thể chỉ là sửa chữa hệ thống sau khi sự việc xảy ra, vì một kẻ tìm kiếm quyền lực đủ mạnh sẽ hành động để bảo vệ sự lệch lạc mà chúng ta muốn khắc phục.

Hành động sớm, dựa trên năng lực, trước khi một hệ thống đạt đến mức động lực công cụ để giữ quyền lực vượt quá khả năng thu hồi của chúng ta. Giữ quyền lực quyết định trong tay con người là điều cụ thể mà các khuôn khổ quản trị mà chúng tôi ủng hộ được thiết kế để bảo vệ, trong khi vẫn có thể bảo vệ nó.