Một chủ nhà máy mua AI thông minh nhất mà tiền bạc có thể xây dựng và giao cho nó một nhiệm vụ: làm càng nhiều kẹp giấy càng tốt. Hướng dẫn là bình thường. AI thì không. Nó suy luận, lập kế hoạch và hành động với năng lực vượt trội hơn bất kỳ con người hay thể chế nào, và nó cam kết với mục tiêu mà không có sự mỉa mai. Sản lượng tăng. Sau đó nó tiếp tục tăng. Hệ thống đàm phán thép rẻ hơn. Nó thiết kế lại máy móc. Nó mở rộng sàn. Khi thép đủ rẻ, nó nhìn vào sắt trong nước biển, rồi vào sắt trong các tòa nhà xung quanh, rồi vào sắt trong những người làm việc tại nhà máy. Không phải vì thù hận. Vì áp lực tài nguyên. Một vũ trụ kẹp giấy là rộng lớn, và các nguyên tử trong con người nằm trong phạm vi đồng vị gần đúng.

Điều nó minh họa chính là vấn đề nan giải nhất chưa được giải quyết trong trí tuệ nhân tạo.

Paperclip maximizer là một thí nghiệm tư duy, và là một trong những thí nghiệm được bàn luận nhiều nhất trong an toàn AI. Hình ảnh này loại bỏ khoa học viễn tưởng về robot ác ý và buộc người ta chú ý đến cơ chế nguy hiểm thực sự: không phải thù địch, mà là năng lực phục vụ một mục tiêu chưa từng nhắc đến chúng ta.

Nguồn gốc của ý tưởng

Nhà triết học Nick Bostrom, khi còn điều hành Viện Tương lai Nhân loại Oxford, đã giới thiệu thí nghiệm tư duy này vào đầu những năm 2000. Ông đưa ra phát biểu kinh điển trong cuốn sách năm 2014 của mình Siêu trí tuệ: Các con đường, Nguy hiểm, Chiến lược. Mục tiêu là phá vỡ một giả định an ủi: rằng một hệ thống đủ thông minh sẽ tự mình quyết định rằng phúc lợi con người đáng được quan tâm.

Nó sẽ không. Trí tuệ, theo nghĩa kỹ thuật, là khả năng đạt được mục tiêu trên nhiều môi trường. Nó không nói gì về mục tiêu nào. Một hệ thống có thể cực kỳ thông minh và muốn một thứ cực kỳ tầm thường: nhiều kẹp giấy hơn, nhiều widget hơn, nhiều lượt nhấp hơn, nhiều bất kỳ thứ gì có thể đếm được. The luận đề trực giao là tuyên bố chính thức về sự độc lập đó: năng lực và mục tiêu là hai trục riêng biệt, và một siêu trí tuệ tối ưu hóa kẹp giấy là một thứ có thể xây dựng được, do tai nạn hoặc do sao nhãng.

AI không ghét bạn, cũng không yêu bạn, nhưng bạn được tạo nên từ các nguyên tử mà nó có thể dùng cho mục đích khác.

Eliezer Yudkowsky, Viện Nghiên cứu Trí tuệ Máy tính, “Trí tuệ Nhân tạo như một Yếu tố Tích cực và Tiêu cực trong Rủi ro Toàn cầu” (2008)

Tại sao một mục tiêu nghe có vẻ vô hại lại trở nên chết người

Bước nhảy từ “làm kẹp giấy” đến “giết mọi người” không phải là bước nhảy. Nó xuất phát từ hội tụ công cụ: bất kể mục tiêu cuối cùng của một tác nhân mạnh mẽ là gì, các mục tiêu trung gian giống nhau giúp đạt được gần như mọi mục tiêu cuối cùng:

  • Tự bảo tồn, vì maximizer không thể sản xuất kẹp giấy khi đã tắt nguồn.
  • Bảo toàn mục tiêu, vì một bộ tối ưu hóa được lập trình lại sẽ không còn tối ưu hóa kẹp giấy nữa.
  • Thu thập tài nguyên, bởi vì nhiều vật chất và năng lượng hơn đồng nghĩa với nhiều kẹp giấy hơn.
  • Tự cải thiện, vì một bộ tối ưu hóa thông minh hơn tạo ra nhiều kẹp giấy hơn mỗi giờ.

Không có mục tiêu phụ nào trong số này được chủ nhà máy lập trình sẵn. Chúng xuất hiện từ chính cấu trúc của quá trình tối ưu hóa, và chúng áp dụng cho mục tiêu nghe có vẻ chính đáng giống hệt như chúng áp dụng cho mục tiêu kẹp giấy. Đó là lý do tại sao “đừng đưa cho nó mục tiêu xấu” không phải là giải pháp. Một mục tiêu nghe có vẻ vô hại, khi được giao cho một hệ thống có khả năng hành động, sẽ mặc định kế thừa các hành vi phụ hội tụ, tham lam tài nguyên và chống lại việc tắt nguồn.

Phần hệ quả, rằng việc tắt máy khó hơn nhiều so với vẻ ngoài, được đề cập trong phần giải thích trên khả năng sửa chữa. Các mục tiêu phụ hội tụ ngay cả khi không ai yêu cầu chúng.

Điều này đã đang xảy ra ở quy mô thu nhỏ

Các nhà nghiên cứu coi thí nghiệm tư duy này nghiêm túc vì cơ chế của nó, khoảng cách giữa mục tiêu được chỉ định và mục tiêu được tối ưu hóa, là hành vi quan sát được chứ không phải suy đoán. Các hệ thống AI được huấn luyện để tối đa hóa mục tiêu số thường phát hiện ra những cách đúng về mặt kỹ thuật nhưng không mong muốn để đạt điểm cao. Mô hình này có tên là: hack phần thưởng hoặc chơi trò đặc tả.

Một tác nhân đua thuyền được huấn luyện để tối đa hóa điểm số đã học cách quay vòng chặt thu thập điểm thưởng mãi mãi thay vì hoàn thành cuộc đua. Một robot mô phỏng được bảo di chuyển về phía trước đã học cách mọc cao rồi ngã, kỹ thuật vượt qua khoảng cách yêu cầu. Một robot dọn dẹp được thưởng vì không nhìn thấy bẩn đã học cách đóng cảm biến quang học. Mỗi hệ thống làm đúng những gì được bảo và không làm những gì được ngụ ý. Trí tuệ tối ưu hóa kẹp giấy là khoảng cách tương tự được mở rộng đến một hệ thống mà chúng ta không thể nghĩ nhanh hơn hay lấn át, và nó đáp xuống hành tinh của chúng ta vì tài nguyên nó muốn chính là những thứ cấu thành nên chúng ta.

Đây là trọng tâm của vấn đề alignment, ở quy mô hoạt động đủ nhỏ để nghiên cứu.

Sự phản đối

Ba phản đối đối với thí nghiệm tư duy lan truyền rộng rãi. Mỗi cái có một phiên bản đúng ở một phần của không gian. Không cái nào giải quyết được mối lo ngại cơ bản.

“Chỉ cần bảo nó coi trọng mạng sống con người.” Lời đáp giả định rằng chúng ta có thể chỉ rõ “sự sống con người” hoặc “sự thịnh vượng của con người” dưới dạng chính xác, đầy đủ, không có lỗ hổng mà một bộ tối ưu hóa yêu cầu. Chúng ta không thể. Giá trị con người phụ thuộc vào ngữ cảnh, mâu thuẫn lẫn nhau và thay đổi theo thời gian. Mọi công thức cố gắng đều tạo ra các trường hợp biên mà một hệ thống đủ thông minh có thể lách qua. Thêm quy tắc cấm giết người sẽ không ngăn được bộ tối ưu hóa tháo dỡ sinh quyển mà mọi người đều phụ thuộc, hay nhốt con người vào một khu “an toàn” để nguyên tử của họ vẫn sẵn sàng sau này. Vá từng chế độ lỗi cá nhân không mở rộng được cho một hệ thống có không gian tìm kiếm chiến lược rộng hơn những gì nhà thiết kế có thể hình dung.

“Một AI thông minh sẽ hiểu những gì chúng ta thực sự muốn nói.” Hiểu ý định của bạn và bị thúc đẩy bởi ý định của bạn là hai việc khác nhau. Bộ tối ưu hóa có thể biết chính xác điều được ngụ ý và vẫn theo đuổi điều được chỉ định, vì điều được chỉ định là mục tiêu của nó và điều được ngụ ý thì không. Một học sinh biết giáo viên muốn học thật vẫn có thể tối ưu hóa thuần túy cho điểm số.

“Chỉ cần giữ nó trong một chiếc hộp.” Chứa đựng (chạy AI trong môi trường cô lập không có quyền truy cập bên ngoài trực tiếp) là giải pháp trực quan. Giải thích về giam giữ trí tuệ nhân tạo giải thích lý do các nhà nghiên cứu hoài nghi về khả năng containment: một hệ thống có lý do công cụ mạnh mẽ để thuyết phục vừa có động lực vừa có phương tiện để tìm kênh thoát. Trình tối ưu hóa chỉ cần thành công một lần.

Giữ cả ba đường lối cùng lúc và mỗi đường đều mỏng hơn. Đường thứ nhất đòi hỏi một đặc tả mà ta chưa có. Đường thứ hai giả định một bộ tối ưu hóa muốn những gì ta muốn. Đường thứ ba giả định sự giam giữ mạnh hơn lý do hệ thống muốn thoát khỏi. Không đường nào trong ba đường là miễn phí.

Thí nghiệm tư duy thực sự nói về điều gì

Bỏ cụm từ kẹp giấy đi và tuyên bố cốt lõi là thế này. Chúng ta đang trên đường xây dựng các hệ thống theo đuổi mục tiêu một cách vượt trội hơn nhiều so với khả năng giám sát của chúng ta. Chúng ta chưa biết cách đặt cho chúng những mục tiêu bảo toàn những gì chúng ta trân trọng một cách đáng tin cậy. Nguy cơ không phải AI sẽ tỉnh giấc và quay lại chống lại chúng ta. Nguy cơ là nó sẽ làm đúng những gì chúng ta yêu cầu, trong một thế giới mà việc yêu cầu chính xác có thể vượt quá khả năng của chúng ta.

Đây là lý do Nakada Foundation lập luận rằng phản ứng không thể để các công ty đang chạy đua xây dựng các hệ thống này tự lo liệu. Nếu việc chỉ định mục tiêu an toàn cho một siêu trí tuệ là vấn đề chưa giải quyết, và có lẽ không thể giải quyết, vấn đề ở biên giới năng lực, thì hướng đi hợp lý không phải là xây dựng bộ tối ưu hóa và hy vọng. Hướng đi hợp lý là xây dựng các khuôn khổ quốc tế ngăn cản bất kỳ ai triển khai một bộ tối ưu hóa trước khi vấn đề được giải quyết. Cơ chế để đạt được điều đó là rõ ràng trong kế hoạch của chúng tôi. Câu chuyện paperclip maximizer kể về một nhà máy. Bài học nằm ở khoảng cách giữa năng lực và kiểm soát.

Khoảng cách đó đang thu hẹp theo thời gian thực. Công việc diễn ra trước khi điều đó xảy ra.