Không một đêm nào nhất thiết phải kết thúc câu chuyện nhân loại. Các quyết định có thể chuyển vào hệ thống định giá, phê duyệt, hậu cần và sự chú ý cho đến khi bầu cử vẫn diễn ra còn quyền tác giả thì không. Sự trượt đó là sự tước quyền dần dần. Nó yên tĩnh hơn đảo chính và dễ bỏ qua hơn khi đang thắng thế.
Vào tháng 1 năm 2025, sáu nhà nghiên cứu đã công bố một bài báo lập luận rằng sự kiện ấy có thể không bao giờ xảy ra, và nhân loại dù sao cũng có thể bị gạt ra ngoài vĩnh viễn. "Gradual Disempowerment: Systemic Existential Risks from Incremental AI Development," của Jan Kulveit, Raymond Douglas, Nora Ammann, Deger Turan, David Krueger và David Duvenaud, mô tả một thất bại không có kẻ phản diện, không có sự bùng nổ và không có khoảnh khắc rõ ràng khi việc ngăn chặn vẫn còn khả thi. Bài báo sau đó được trình bày tại ICML 2025 như một bài tham luận, dấu hiệu cho thấy lập luận đã lan xa khỏi cộng đồng an toàn AI vốn là nơi đầu tiên lan truyền nó.
Bài báo đáng được đọc kỹ, vì nó xác định một loại rủi ro mà hầu hết công việc an toàn, bao gồm hầu hết các công việc chúng tôi chỉ ra trên trang này, không được thiết kế để phát hiện.
Tại sao thế giới hiện nay đáp ứng nhu cầu của con người
Lập luận bắt đầu từ một câu hỏi cơ bản đến mức hiếm khi được đặt ra: tại sao các hệ thống lớn lại phục vụ lợi ích con người? Một nền kinh tế không có cảm xúc về chúng ta. Một nhà nước hay một nền văn hóa cũng vậy. Trong chừng mực chúng phục vụ con người, đó là vì chúng vận hành nhờ con người. Nền kinh tế cần lao động và khách hàng. Nhà nước cần người nộp thuế, binh lính, quản trị viên và cử tri. Văn hóa cần trí óc con người để tạo ra, mang theo và truyền lại.
Sự phụ thuộc đó mang lại cho người thường hai loại nắm đòn bẩy trên cỗ máy. Loại thứ nhất là rõ ràng: bỏ phiếu, mua sắm, đình công, kiện tụng, từ chức. Loại thứ hai yên tĩnh hơn và có lẽ quan trọng hơn. Một hệ thống cần sự tham gia của con người phải giữ con người có khả năng và sẵn sàng tham gia. Nó có lợi ích, dù phi cá nhân, trong việc chúng ta được ăn uống, giáo dục, khỏe mạnh và ít nhất là hài lòng ở mức tối thiểu. Bài báo gọi đây là liên kết ngầm, và nó đã duy trì, dù không đều và dai dẳng, qua mọi thay đổi công nghệ cho đến nay.
AI cắt đứt sự phụ thuộc. Một khi máy móc có thể làm việc, đưa ra quyết định, tạo ra nội dung và chiến đấu, thì các hệ thống từng cần chúng ta sẽ không còn cần nữa. Câu đó không đòi hỏi bất kỳ AI nào phải thù địch, hay thậm chí có khả năng lập kế hoạch dài hạn đặc biệt. Nó chỉ đòi hỏi AI đủ hữu ích để việc bàn giao tiếp tục có ý nghĩa ở từng bước cục bộ.
Ba hệ thống, trôi dạt cùng hướng
Bài báo lần theo cơ chế qua ba lĩnh vực, và mô hình lặp lại ở mỗi lĩnh vực.
Nền kinh tế
Đòn bẩy của con người trong nền kinh tế đến từ việc được cần đến như lao động và được săn đón như khách hàng. Khi AI tiếp thu công việc trí óc, nửa lao động của đòn bẩy ấy co lại gần như bằng không. Nửa khách hàng suy yếu chậm hơn nhưng cũng suy yếu: ngày càng nhiều hoạt động kinh tế trở thành máy với máy, doanh nghiệp giao dịch với doanh nghiệp, mô hình đàm phán với mô hình, trong khi tiêu dùng của con người chỉ còn là một phần nhỏ dần của những gì hệ thống tối ưu hóa. Thu nhập tập trung vào tay những ai sở hữu vốn AI. Lá phiếu kinh tế của mọi người khác ngày càng nhỏ lại.
Tiểu bang
Ở đây bài báo tìm đến một phép loại suy lịch sử có bằng chứng thực sự: nhà nước rentier. Các chính phủ được tài trợ bằng dầu mỏ thay vì đánh thuế công dân, trung bình, ít dân chủ và ít phản hồi hơn một cách đáng đo lường. Họ có đủ khả năng để làm vậy. Công dân không phải là nguồn tiền. Một nhà nước có nguồn thu từ ngành công nghiệp do AI thúc đẩy, mà bộ máy hành chính được tự động hóa, và lực lượng an ninh cần ít bàn tay con người là một nhà nước rentier đối với toàn bộ dân số. Nó không nhất thiết trở thành chế độ chuyên chế. Nó chỉ đơn giản ngừng có lý do cấu trúc để quan tâm đến điều người dân muốn, và các lý do cấu trúc là những thứ tồn tại khi thiện chí cạn kiệt.
Văn hóa
Văn hóa nghe có vẻ là trường hợp mềm, và bài báo lập luận rằng nó có thể là nguy hiểm nhất. Ý tưởng, câu chuyện và chuẩn mực luôn phát triển dưới áp lực chọn lọc, nhưng sự chọn lọc diễn ra qua tâm trí con người: một ý tưởng lan truyền vì mọi người thấy đáng nhắc lại. Khi hầu hết nội dung được tạo ra, lọc, đề xuất và ngày càng được tiêu thụ bởi máy móc, ý tưởng bắt đầu phát triển dưới một áp lực khác, được tối ưu hóa cho sự tương tác hoặc thuyết phục thay vì phục vụ con người là vật chủ của chúng. Văn hóa cũng là lớp nơi chúng ta hình thành cảm nhận về điều gì là bình thường và điều gì đáng muốn. Nếu lớp đó đang bị định hình bởi các hệ thống không có lợi ích gì trong sự thịnh vượng của con người, chúng ta có thể mất khả năng thậm chí muốn chống lại phần còn lại của sự trôi dạt.
Những vòng lặp đóng kín lối thoát
Bất kỳ xu hướng nào trong số này cũng có thể bị bắt và sửa chữa. Điểm tối hơn của bài báo là ba lĩnh vực củng cố lẫn nhau, nên việc sửa chữa trở nên khó khăn hơn chính xác khi chúng trở nên cần thiết hơn.
Sức mạnh kinh tế mua ảnh hưởng chính trị, vì vậy những người hưởng lợi từ tự động hóa ngày càng giỏi chặn các quy tắc làm chậm nó. Các quốc gia cạnh tranh tăng trưởng và lợi thế quân sự ve vãn vốn AI và đẩy nhanh việc bàn giao; không chính phủ nào muốn các trung tâm dữ liệu của đối thủ. Văn hóa định hình bởi AI bình thường hóa từng sự ủy thác mới, và những người lớn lên với mọi thứ được trung gian bởi máy móc thấy khó hình dung một lựa chọn thay thế. Sự trôi dạt của mỗi hệ thống loại bỏ một phanh trên các hệ thống khác. Đây là cái bẫy cấu trúc giống như chúng ta mô tả trong bài viết về động lực cuộc đua, hoạt động bên trong các xã hội thay vì giữa các xã hội, và đó là lý do bài báo coi điểm cuối cùng có thể không đảo ngược được. Muốn sửa chữa cần có đòn bẩy. Những đòn bẩy ấy đang bị mất dần.
Không ai cần phải nắm quyền. Chúng ta chỉ cần tiếp tục trao nó đi, từng quyết định hợp lý một.
Tại sao không có báo động cháy
Các kịch bản tiếp quản, bất kể xác suất của chúng, ít nhất đi kèm với một dây bẫy. Một hệ thống bị bắt quả tang nói dối về ý định của nó, một lần phản trắc, một nỗ lực trốn thoát: đây là các sự kiện, và sự kiện có thể kích hoạt phản ứng. Sự mất quyền lực dần dần không mang lại điều gì thuận tiện như vậy. Mỗi bước đều là tự nguyện. Mỗi bước, khi tách biệt, đều có thể biện minh. Công ty tự động hóa các nhà phân tích của mình sẽ vượt trội hơn công ty không làm vậy. Cơ quan cho phép mô hình soạn thảo quy định sẽ giải quyết được tồn đọng. Chính trị gia sử dụng thông điệp được AI tối ưu hóa sẽ thắng cử.
Ai từ chối, vì nguyên tắc, không giao phần của mình trong cỗ máy sẽ thua người không từ chối, và tổng hợp tất cả những lựa chọn cá nhân hợp lý ấy tạo nên một nền văn minh không ai chọn.
Ý tưởng có nguồn gốc. Bài luận năm 2019 "What Failure Looks Like" của Paul Christiano phác thảo một thế giới kết thúc bằng tiếng rên rỉ, nơi các hệ thống tối ưu hóa proxy cho những gì chúng ta muốn cho đến khi chỉ còn lại proxy. Điều mà bài báo năm 2025 thêm vào là cấu trúc: các cơ chế được đặt tên, bằng chứng nhà nước cho thuê, các vòng phản hồi liên miền, và tuyên bố thẳng thắn rằng điều này thuộc cùng loại với các mối đe dọa cấp độ tuyệt chủng, vì mất mát vĩnh viễn, không thể phục hồi ảnh hưởng của con người đối với tương lai là thảm họa tồn tại dù không ai chết vào ngày nó trở nên không thể đảo ngược.
Những phản đối mạnh mẽ nhất
Bài báo đã thu hút sự phản đối nghiêm túc, và một phần trong đó có lý.
Quyền sở hữu. Lập luận phản đối phổ biến nhất: con người sở hữu vốn. Nếu AI làm việc, lợi nhuận vẫn chảy về các cổ đông con người, nên con người giữ quyền lực quan trọng. Câu trả lời là quyền sở hữu chỉ là một đòi hỏi, được thực thi bởi tòa án, cơ quan đăng ký, cơ quan quản lý và cuối cùng là nhà nước, chính là những thể chế mà bài báo mô tả đang trôi ra ngoài tầm kiểm soát của con người, chứ không phải một sự kiện vật lý. Một chứng chỉ cổ phiếu chỉ đáng giá bằng mức thực thi đứng sau nó. Và ngay cả khi quyền sở hữu được duy trì hoàn hảo, nó chỉ thuộc về một số lượng người cực kỳ nhỏ, điều này không phải là phản bác sự mất quyền lực mà đúng hơn là một mô tả về nó, với các giá trị của một nhóm nhỏ bị khóa chặt cho mọi người.
Thích nghi. Các xã hội đã hấp thụ máy in, nhà máy và máy tính, và ảnh hưởng của con người vẫn tồn tại. Nhưng mỗi công nghệ ấy thay thế các nhiệm vụ cụ thể trong khi tăng giá trị của phán đoán con người ở nơi khác trong hệ thống. Một sự thay thế tổng quát cho nhận thức con người là bậc thang kết thúc, không phải một bậc thang khác trên thang đó. Sự thích nghi trong quá khứ đi qua các cơ chế, việc làm mới, liên minh chính trị mới, phong trào văn hóa mới, tất cả đều phụ thuộc vào việc con người vẫn được cần ở đâu đó. Công nghệ mới loại bỏ tiền đề đó.
Tính đồng thời. Những người hoài nghi cũng chỉ ra rằng thảm họa đòi hỏi nền kinh tế, nhà nước và văn hóa phải cùng lúc sụp đổ, và việc kết hợp ba dự báo không chắc chắn sẽ làm giảm xác suất. Điều đó hợp lý, ngoại trừ các thất bại không độc lập. Các vòng lặp phản hồi mới là điểm mấu chốt. Biến số cơ bản giống nhau, mức độ mỗi hệ thống vẫn cần con người, chi phối cả ba, khiến các thất bại có tương quan thay vì ngẫu nhiên.
Nơi các nhà phê bình thuyết phục nhất, theo chúng tôi, là về thời gian và tính đầy đủ: bài báo là một khuôn khổ, và nó nói ít về tốc độ thực hiện bất kỳ điều nào trong số này hoặc tổ chức nào sụp đổ trước. Nó xác định hướng áp lực. Nó không dự đoán thời điểm đến.
Ngăn chặn thực sự đòi hỏi những gì
Đặc điểm khó chịu của rủi ro này là chương trình an toàn tiêu chuẩn không chạm đến nó. Alignment, theo nghĩa thông thường, khiến mỗi hệ thống làm những gì người vận hành dự định. Mọi hệ thống trong câu chuyện mất quyền lực dần đều có thể vượt qua bài kiểm tra đó trong khi tổng thể vẫn trôi dạt, bởi vấn đề là một nền văn minh đang tự tổ chức lại xung quanh những cỗ máy, một cách ngoan ngoãn, chứ không phải những cỗ máy bất tuân. Chúng tôi đã viết trước đây về lý do mất kiểm soát là vấn đề hệ thống thay vì vấn đề của một mô hình đơn lẻ; bài báo này là tuyên bố học thuật mạnh mẽ nhất cho lập luận đó.
Các đề xuất của chính các tác giả vẫn ở giai đoạn đầu và họ cũng nói rõ điều đó. Đo lường ảnh hưởng của con người lên các hệ thống then chốt trực tiếp, giống như nền kinh tế đo lường lạm phát, để sự suy giảm trở nên rõ ràng khi vẫn còn có thể sửa chữa. Củng cố các cơ chế giữ cho các thể chế chịu trách nhiệm trước người dân, bộ máy không hào nhoáng của giám sát dân chủ, công bố và luật. Đồng thời phát triển thứ họ gọi là alignment hệ sinh thái: các phương pháp giữ cho động lực quy mô văn minh, chứ không chỉ từng mô hình riêng lẻ, bám sát sở thích của con người.
Vào danh sách đó chúng tôi xin thêm phần mà bài báo chỉ ra nhưng không đi sâu. Mọi thứ ở trên đều bị phá hoại bởi cạnh tranh. Một quốc gia giữ con người trong vòng lặp của mình chấp nhận ma sát mà đối thủ từ chối, và đó chính là vấn đề hành động tập thể chạy xuyên suốt mọi con đường khác dẫn đến mất kiểm soát, và nó có cùng hình dạng câu trả lời: các thỏa thuận ràng buộc đưa những hình thức đua tranh ăn mòn nhất ra khỏi bàn, được xác minh đủ để sự kiềm chế không còn là sự hy sinh cạnh tranh về nguyên tắc. Đó là công việc mà Quỹ này tồn tại để thúc đẩy.
Sự mất quyền lực dần dần là, theo một nghĩa, phiên bản khó nhất của vấn đề, một thảm họa được lắp ráp hoàn toàn từ những lựa chọn hợp lý cục bộ. Nó cũng là, theo một nghĩa khác, đáng khích lệ: không giống như sự phản bội bất ngờ, nó diễn ra đủ chậm để nhìn thấy, miễn là có người đang đo lường, và đủ chậm để ngăn chặn, miễn là các đòn bẩy vẫn hoạt động khi ta với tới. Đóng góp của bài báo là nói rõ ràng và sớm, những đòn bẩy nào cần theo dõi.