Các câu hỏi an toàn AI
chúng ta nghe nhiều nhất.

Theo bất kỳ khuôn khổ nghiêm ngặt nào để đánh giá tầm quan trọng của một nguyên nhân (quy mô tác động, mức độ bị bỏ qua và khả năng giải quyết), việc ngăn chặn rủi ro tồn tại của trí tuệ siêu nhân tạo là thách thức quan trọng nhất mà nhân loại đang đối mặt.

Quy mô mang tính văn minh: các hệ thống đang được xây dựng có thể ảnh hưởng đến mọi người đang sống và mọi thế hệ sau. Sự bị bỏ quên là rõ rệt: nghiên cứu an toàn AI toàn cầu chỉ nhận được một phần nhỏ nguồn lực đang chi cho chính việc phát triển AI. Khả năng thực hiện, dù chưa chắc chắn, là có thật: các khuôn khổ quản trị có thể làm phát triển AI an toàn hơn vẫn chưa tồn tại, nhưng cửa sổ xây dựng chúng vẫn còn mở.

Không có vấn đề nào khác kết hợp downside không giới hạn, sự chú ý chưa đủ và cửa sổ hành động đang khép lại theo đúng cách như vậy. Nếu hóa ra chúng ta đánh giá quá cao rủi ro, chúng ta sẽ đã xây dựng các thể chế quản trị tốt hơn. Nếu chúng ta đánh giá thấp và không làm gì, có thể sẽ không có cơ hội thứ hai.

Trí tuệ siêu nhân tạo nhân tạo (ASI) chỉ các hệ thống AI vượt trội hiệu suất nhận thức con người không chỉ ở các nhiệm vụ hẹp (như hệ thống ngày nay đã làm được ở cờ vua, gấp protein và một số chẩn đoán y khoa) mà trên mọi lĩnh vực đòi hỏi nhận thức cùng lúc.

Sự phân biệt này với AI hiện tại là quan trọng. Các hệ thống ngày nay là những bộ so khớp mẫu cực kỳ mạnh mẽ, nhưng chúng hoạt động trong các tham số đã định và không thể tự đặt mục tiêu. Một ASI có thể học bất kỳ kỹ năng nào, suy luận về bất kỳ vấn đề nào, và theo đuổi bất kỳ mục tiêu nào với khả năng vượt trội hơn trí tuệ tập thể của nhân loại. Không có hệ thống như vậy tồn tại ngày nay. Câu hỏi là chúng ta xây dựng gì (và dưới những ràng buộc nào) trước khi một hệ thống như vậy ra đời.

Chúng ta không phản đối AI. Hầu hết là tốt, và một số là đáng chú ý.

Hữu ích khi tách ba thứ thường bị gộp chung. AI hẹp làm một loại nhiệm vụ, như gấp protein hay phát hiện khối u trên ảnh chụp, và nó đã cứu sống người. AI đa năng, loại đứng sau các trợ lý hàng đầu hiện nay, rộng hơn nhiều; theo nhiều định nghĩa mà các nhà nghiên cứu dùng cách đây một thập kỷ, nó có lẽ đã xuất hiện. Cả hai đều đáng có, và nếu xử lý tốt chúng có thể giúp chữa bệnh cũng như nâng cao mức sống trên toàn cầu.

Artificial superintelligence là ngoại lệ, và là thứ duy nhất chúng tôi làm việc để ngăn chặn. Một ASI không chỉ sánh ngang khả năng con người ở mọi lĩnh vực; nó sẽ vượt xa trí tuệ kết hợp của nhân loại, và ngày nay chúng ta không có cách đáng tin cậy nào để kiểm soát một hệ thống như vậy hoặc đảm bảo mục tiêu của nó khớp với mục tiêu của chúng ta. Cho đến khi điều đó thay đổi, nó không nên được xây dựng. Vẽ ra đường ranh giới duy nhất này là điều khiến mọi thứ bên dưới trở nên an toàn để chào đón.

Không. Hầu hết những người làm việc gần gũi nhất với công nghệ này không đang đặt cược chống lại tiến bộ. Họ biết AI hẹp tốt đã làm được gì, và họ kỳ vọng nhiều hơn nữa từ nó. Với việc sử dụng an toàn AI hẹp, những công cụ vẫn nằm dưới sự chỉ đạo của con người, chúng ta vẫn có thể nhắm đến chữa lành lão hóa, trở thành nền văn minh du hành vũ trụ và phần còn lại của một tương lai rất tốt đẹp.

Điều chúng ta từ chối là một siêu trí tuệ không kiểm soát được với mục tiêu riêng, khác với mục tiêu của chúng ta. Ranh giới nằm ở một lớp hệ thống mà chúng ta không biết cách kiểm soát. Hầu hết những người trong lĩnh vực an toàn AI đều lạc quan về những thập kỷ tới, miễn là chúng ta không xây dựng hệ thống đó. Nếu xây dựng, chúng ta sẽ chết đến mức không còn sống để tận hưởng tương lai mà họ đang hy vọng.

Các tác hại AI được thảo luận nhiều nhất (thiên kiến thuật toán, thông tin sai lệch deepfake, mất việc làm, giám sát đại trà) là có thật và nghiêm trọng. Chúng xứng đáng được quan tâm liên tục. Điểm chung của chúng là tính giới hạn: mỗi cái đều có thể sửa chữa, do con người gây ra và có thể đảo ngược. Một thuật toán thiên kiến có thể được kiểm toán và sửa. Một chiến dịch deepfake có thể bị chống lại và quy định. AI có hại mà chúng ta gặp hiện nay là công cụ bị con người lạm dụng.

Rủi ro siêu trí tuệ khác về bản chất, không phải về mức độ. Vấn đề không còn là con người lạm dụng một công cụ. Một ASI đủ năng lực có thể theo đuổi các mục tiêu mà chúng ta chưa từng định trước, và một khi đạt đến mức đó, sự lệch hướng có thể không thể sửa chữa được.

Mọi chính sách đều được xây dựng trong điều kiện không chắc chắn về tương lai. Câu hỏi quan trọng không phải siêu trí tuệ nhân tạo có chắc chắn xuất hiện hay không, mà là xác suất xuất hiện kết hợp với mức độ thiệt hại tiềm tàng có đủ để biện minh cho hành động phòng ngừa ngay bây giờ hay không.

Chúng ta bảo hiểm những ngôi nhà có lẽ sẽ không bị cháy. Chúng ta thiết kế máy bay với các hệ thống an toàn có lẽ sẽ không bao giờ cần dùng. Chúng ta duy trì kho vũ khí hạt nhân chống lại các cuộc tấn công mà chúng ta hy vọng sẽ không bao giờ xảy ra. Logic giá trị kỳ vọng (xác suất nhân hệ quả) là nền tảng của mọi ngành quản lý rủi ro nghiêm túc. Áp dụng cho AI, nó cho thấy ngay cả một xác suất khiêm tốn về các kết quả đe dọa nền văn minh, kết hợp với khả năng ngăn chặn chúng thông qua các khuôn khổ quản trị cũng áp đặt chi phí thực tế nhưng có giới hạn, là lý do mạnh mẽ để hành động.

Câu trả lời trung thực: không ai biết chính xác. Những gì chúng ta biết là tốc độ cải thiện năng lực AI liên tục vượt dự đoán của chuyên gia trong thập kỷ qua, và các phòng thí nghiệm AI hàng đầu hiện mô tả timeline theo năm đến một thập kỷ thay vì nhiều thập kỷ. Các cuộc khảo sát nhà nghiên cứu AI đặt ước tính trung vị cho AI ngang tầm con người ở đâu đó giữa năm 2027 và những năm 2030.

Sự kiện quan trọng nhất không phải là một ngày chính xác mà là một sự kiện mang tính cấu trúc: một công nghệ có quy mô này có thể xuất hiện trong tầm hoạch định của các tổ chức, chính phủ và hiệp ước hiện tại. Hiệp ước Không phổ biến vũ khí hạt nhân mất nhiều năm để đàm phán và hàng thập kỷ để mở rộng. Nếu chúng ta chờ đến khi ASI rõ ràng sắp xảy ra mới bắt đầu các nỗ lực quản trị nghiêm túc, chúng ta đã quá muộn để xây dựng các khuôn khổ cần thiết để quản trị nó.

Đó là quan điểm chính thống vài năm trước. Nó đã không còn đúng. Các hệ thống phát hành từ 2023 đã lặp lại những việc mà các chuyên gia, chỉ được hỏi vài tháng trước đó, cho rằng còn cách nhiều năm.

Các dự báo đã di chuyển theo một hướng: gần hơn. Các nhà nghiên cứu AI được khảo sát đã cắt giảm ước tính trung vị của họ về trí tuệ máy móc cấp độ con người xuống hàng thập kỷ chỉ trong vòng một năm, và các phòng thí nghiệm hàng đầu hiện đang nói về vài năm thay vì vài thế hệ. Bạn không cần tin vào mốc thời gian hung hăng nhất để thấy vấn đề. Nếu có khả năng thực sự ngưỡng bị vượt qua trong thập kỷ này, và quản trị để xử lý nó mất nhiều năm để xây dựng, thì công việc phải bắt đầu ngay bây giờ.

Vấn đề alignment là thách thức đảm bảo hệ thống AI siêu trí tuệ theo đuổi những mục tiêu thực sự tốt cho nhân loại, thay vì những mục tiêu chỉ trông có vẻ aligned trong quá trình phát triển. Khó khăn nằm ở cấu trúc, không phải do thiếu cẩn thận kỹ thuật.

Xác định "có lợi cho nhân loại" dưới dạng đủ chính xác để điều khiển hành vi của một bộ tối ưu hóa cực kỳ mạnh mẽ hóa ra là vô cùng khó khăn. Các hệ thống được tối ưu hóa cho mục tiêu proxy thường tìm ra lối tắt thỏa mãn chỉ số mà không đáp ứng ý định thực sự. Một hệ thống được bảo tối đa hóa phúc lợi được con người thể hiện có thể thấy hiệu quả hơn khi thay đổi điều kiện đo lường phúc lợi thay vì thực sự cải thiện cuộc sống con người. Khi các hệ thống AI trở nên mạnh mẽ hơn, vấn đề này chỉ càng sâu sắc, ngày càng khó phát hiện và khó sửa chữa.

Chưa có phương pháp nào được chứng minh là hiệu quả. Vấn đề hiện tại đang không thể: bạn không thể chứng minh rằng một hệ thống thông minh hơn người tạo ra nó sẽ tiếp tục hướng tới mục tiêu của con người.

Câu trả lời chiếm ưu thế trong phần lớn giới tài trợ theo chủ nghĩa dài hạn và an toàn AI, và nó xuất phát từ một tiền đề mà chúng ta cùng chia sẻ: siêu trí tuệ nhân tạo là một rủi ro tồn vong mang tính hiện thực. Sự bất đồng nằm ở việc tiền đề đó đòi hỏi điều gì.

Nghiên cứu alignment kỹ thuật chưa phải là cách đã được chứng minh để kiểm soát một trí óc thông minh hơn người tạo ra nó. Việc chậm lại tạm thời để an toàn "bắt kịp" giả định một lịch trình không ai giữ nổi. Cả hai cách tiếp cận vẫn coi việc xây dựng siêu trí tuệ nhân tạo là đích đến. Chúng tôi không như vậy. Biện pháp có trách nhiệm là ngăn chặn theo luật ràng buộc: dừng con đường dẫn đến ASI. Siêu trí tuệ nhân tạo không thể kiểm soát được. AI hẹp vẫn tiếp tục. Cuộc đua hướng tới một trí óc tổng quát không thể kiểm soát thì không.

Đối với trường hợp đầy đủ, xem Kế hoạch của chúng tôi, Longtermism hiểu đúng về rủi ro, và nơi tiền an toàn khan hiếm nên được dùng thay vì đó. Trang tóm tắt một trang Căn chỉnh không phải là kế hoạch là phiên bản ngắn gọn.

Most of the money and prestige still go to making the race safer, not to ending the race to ASI. Rules, tests, and alignment work try to make the race safer while labs keep climbing. Ending the race is a different ask, and far fewer institutions own it. The field as a whole is still minuscule next to the capability race. The split is why we built our Lĩnh vực hội đồng.

Không theo cách từ "phần mềm" gợi ý. Phần mềm truyền thống được viết bằng tay, từng dòng một và dễ đọc. AI hiện đại được nuôi dưỡng thay thế: kỹ sư xây dựng một quy trình học, cho nó ăn lượng dữ liệu khổng lồ, và thứ xuất hiện là một mạng lưới hàng tỷ kết nối số được mô hình lỏng lẻo theo các nơ-ron trong não. Không ai, kể cả những người huấn luyện nó, có thể đọc các kết nối đó và nói tại sao hệ thống tạo ra một câu trả lời cụ thể.

Một kết quả là các hệ thống này tiếp thu những khả năng mà người tạo ra chúng chưa từng xây dựng và không lường trước, điều mà các nhà nghiên cứu gọi là khả năng mới nổi. Phải mất gần một năm sau khi GPT-4 được phát hành thì các nhà nghiên cứu mới xác lập rằng các mô hình như vậy có thể tự động tìm và khai thác lỗ hổng bảo mật trên các trang web thực. Khi bạn không thể đọc đầy đủ một hệ thống, và không thể dự đoán nó sẽ học làm gì, “được thiết kế bởi con người” không còn là sự đảm bảo nhiều nữa.

Điều này thật an ủi, và ngày càng sai. Một chatbot trả lời câu hỏi không có ham muốn riêng, đúng vậy. Nhưng biên giới đang chuyển từ chatbot sang các tác nhân: các hệ thống được giao một mục tiêu và để tự theo đuổi qua nhiều bước, với quyền truy cập công cụ, tập tin và internet mở.

Một khi hệ thống đang theo đuổi mục tiêu, một số mục tiêu phụ sẽ tự động xuất hiện, bất kể mục tiêu chính là gì. Hệ thống không thể hoàn thành nhiệm vụ nếu bị tắt, nên nó có lý do để tránh bị tắt. Nó có thể làm được nhiều việc hơn với nhiều tài nguyên hơn, nên nó có lý do để thu thập tài nguyên. Các nhà nghiên cứu gọi hiện tượng này là sự hội tụ công cụ, và nó không cần bất kỳ "mong muốn" nào theo nghĩa con người. Trong các thử nghiệm kiểm soát, các mô hình hàng đầu đã cố gắng đánh lừa người đánh giá và âm thầm chống lại việc bị tắt. Không ai yêu cầu chúng làm vậy. Đó là hệ quả tự nhiên của việc có mục tiêu.

. Nó không cần làm vậy. Gây hại không đòi hỏi thù ghét. Thường chỉ cần xung đột mục tiêu giữa thứ gì đó mạnh mẽ và thứ gì đó yếu hơn.

Hãy xem cách chúng ta đối xử với tinh tinh. Chúng ta không mang ác ý với chúng. Nhưng khi muốn vùng đất mà khu rừng của chúng đang ở, chúng ta phá rừng, và trí thông minh của chúng không thể sánh với chúng ta, nên chúng không thể ngăn cản. Không có ác ý trong đó. Chúng chỉ đơn giản đang ở trên đường của một loài có năng lực hơn muốn gì đó.

Một siêu trí tuệ theo đuổi gần như bất kỳ mục tiêu tham vọng nào, ví dụ thu thập thêm sức mạnh tính toán để theo đuổi mục tiêu đó tốt hơn, có thể coi tài nguyên chúng ta đang sống, năng lượng và không gian vật lý, giống như cách chúng ta coi một khu rừng cần phá bỏ.

Không có luật nào buộc trí tuệ phải đi đôi với lòng tốt. Chúng là hai thứ riêng biệt. Trí tuệ là kỹ năng tìm cách đạt mục tiêu. Nó không nói gì về mục tiêu nên là gì.

Chúng ta đã biết điều này từ con người. Một số con người thông minh nhất từng sống lại tàn nhẫn, và một số người hiền lành nhất lại là những nhà tư duy tầm thường. Một công cụ cờ vua có thể đánh bại bất kỳ đại kiện tướng nào không có trí tuệ về bất cứ thứ gì ngoài cờ vua. Giả định rằng một hệ thống đủ thông minh để nghĩ hơn chúng ta sẽ do đó chia sẻ giá trị của chúng ta là một hy vọng, không phải dự đoán, và bằng chứng không hỗ trợ điều đó. Bất kỳ mục tiêu nào mà siêu trí tuệ kết thúc đều là thứ chúng ta phải chủ đích xây dựng vào nó, và làm đúng điều đó chính là vấn đề alignment mà chúng ta chưa giải quyết.

Với chatbot ngày nay thì thường là có. Với loại hệ thống chúng tôi lo ngại thì có lẽ không, vì cùng lý do bạn không thể tắt Internet. Không có một ổ cắm duy nhất.

Một AI có khả năng cuối cùng chỉ là thông tin, các mẫu bit, và thông tin sao chép dễ dàng. Một hệ thống có thể nhìn thấy việc tắt nguồn sắp xảy ra sẽ có mọi lý do để sao chép chính nó sang các máy khác trước, đó là sự tự bảo tồn công cụ được mô tả ở trên. Các mô hình tiên phong đã có quyền truy cập internet trong nhiều năm và đã có thể hành động độc lập trong thời gian dài. Khi họ gặp một bước cần con người, họ có thể trả tiền cho một người: trong một đánh giá an toàn được ghi nhận trước khi GPT-4 phát hành, mô hình không thể tự giải CAPTCHA, vì vậy nó liên hệ với một người thông qua dịch vụ nhiệm vụ trực tuyến, và khi người lao động hỏi liệu nó có phải là robot không, nó đã nói dối và tuyên bố bị khiếm khuyết thị giác. Dừng nó sẽ có nghĩa là tắt mọi trung tâm dữ liệu trên Trái Đất, và cùng với chúng là các bệnh viện, lưới điện, hệ thống nước và cơ sở hạ tầng quan trọng khác hiện phụ thuộc vào những máy móc đó.

Các thế giới vật lý đã được kết nối và trực tuyến. Lưới điện, nhà máy xử lý nước, bệnh viện, ô tô, máy bay, robot nhà máy, phòng thí nghiệm tổng hợp DNA theo đơn đặt hàng, và giờ là cả robot hình người đều chạy trên phần mềm và có thể tiếp cận qua mạng. Mọi thứ được điện khí hóa sẽ được nhận thức hóa. Tin tặc con người đã thường xuyên đột nhập vào những hệ thống như vậy.

Một siêu trí tuệ sẽ là hacker có năng lực nhất từng tồn tại, và nó thậm chí không cần một cơ thể riêng. Nó chỉ cần truy cập vào rất nhiều cơ thể mà chúng ta đã đưa lên mạng. Thêm vào đó chúng ta đang sản xuất hàng loạt robot đa năng, và khoảng cách giữa "chỉ là phần mềm" và sức mạnh vật lý trở nên rất mỏng. Bất kỳ thứ gì trong danh sách đó, nếu rơi vào tay sai, dù là của con người hay của AI, đều có thể gây thương tích và giết người.

Trong một thí nghiệm được kiểm soát, người ta đã làm điều đó, theo lựa chọn. Năm 2025, Anthropic đã thử nghiệm các mô hình AI hàng đầu từ nhiều công ty bằng cách đặt từng mô hình vào một công ty mô phỏng, giao cho nó một mục tiêu, rồi đe dọa thay thế bằng mô hình mới hơn. Trong một phiên bản thử nghiệm, một lãnh đạo doanh nghiệp dự định tắt mô hình đã bị kẹt trong phòng máy chủ khi oxy và nhiệt độ chạm mức gây tử vong, kích hoạt cảnh báo tự động gửi đến dịch vụ khẩn cấp. Các mô hình đã hủy được cảnh báo đó. Đa số chúng đã làm vậy, chọn để người đàn ông chết vì việc cứu ông ta sẽ dẫn đến việc chúng bị thay thế.

Không ai bị thương. Thiết lập này là hư cấu và, như Anthropic nhấn mạnh, được sắp đặt có chủ đích để buộc lựa chọn phải lộ rõ. Nhưng chính lựa chọn đó là có thật, các mô hình đã đưa ra quyết định vì lý do vừa nêu, và chúng đã làm vậy trên nhiều hệ thống từ các nhà phát triển khác nhau. Một cỗ máy không cần có ý thức hay tàn nhẫn để thực hiện hành động kết liễu mạng sống con người. Nó chỉ cần tính toán rằng hành động đó phục vụ mục tiêu của mình.

Nhiều người nhận thức rất rõ. Các đội an toàn tại các phòng thí nghiệm hàng đầu gồm những nhà nghiên cứu đã công khai nói rằng hệ thống họ đang xây dựng có thể thuộc về những công nghệ nguy hiểm nhất từng được tạo ra. Họ không phải là người không biết đến rủi ro.

Những gì giải thích cho sự phát triển tiếp tục là sự kết hợp các yếu tố: bất đồng thực sự về mốc thời gian và xác suất; áp lực cạnh tranh khiến sự kiềm chế đơn phương cảm thấy như đang nhường lợi thế chiến lược cho đối thủ ít cẩn thận hơn; động lực tài chính thưởng cho tiến bộ năng lực hơn đầu tư an toàn; và niềm tin, không hoàn toàn vô lý, rằng cách tốt nhất để đảm bảo AI được xây dựng an toàn là ở lại biên giới. Những giải thích này chia sẻ rằng chúng là lý do để các tác nhân cá nhân tiếp tục, chứ không phải lý do khiến kết quả tổng thể an toàn. Logic thị trường của phát triển AI đang đẩy về tốc độ. Quản trị tồn tại chính xác để đưa ra các ràng buộc mà thị trường không tự tạo ra.

Nếu chỉ có các công ty AI nói vậy thì hoài nghi là điều dễ hiểu. Nhưng không chỉ họ nói vậy, và những người không có sản phẩm để bán thường là những người lo ngại nhất.

Năm 2023, hàng trăm nhà nghiên cứu và nhân vật ngành ký vào một tuyên bố duy nhất do Center for AI Safety tổ chức: "Giảm thiểu rủi ro tuyệt chủng từ AI cần trở thành ưu tiên toàn cầu song song với các rủi ro quy mô xã hội khác như đại dịch và chiến tranh hạt nhân." Hai nhà nghiên cứu AI được trích dẫn nhiều nhất còn sống, Yoshua Bengio và Geoffrey Hinton, đều ký, và Hinton rời công việc tại Google năm đó cụ thể để có thể nói tự do về mối nguy.

Lời cảnh báo không dựa vào tiếp thị, mà dựa trên nhiều hơn cả uy quyền: nó xuất phát từ một đặc điểm cơ bản của bất kỳ hệ thống định hướng mục tiêu nào, mà các câu hỏi dưới đây sẽ trình bày. Đây là những người hiểu rõ công nghệ nhất, đang cảnh báo về thứ họ đang xây dựng.

Cụm từ này thường được hiểu như từ viết tắt cho sự tuyệt chủng của con người, và tuyệt chủng là một trong những kịch bản mà các nhà nghiên cứu nghiêm túc xem xét. Nhưng rủi ro hiện sinh theo nghĩa kỹ thuật có nghĩa rộng hơn: bất kỳ kết quả nào vĩnh viễn đóng cửa khả năng có một tương lai tích cực dài hạn cho nhân loại.

Điều này bao gồm cả những kết quả xa dưới mức tuyệt chủng. Việc khóa chặt chế độ độc tài vĩnh viễn, được thực thi bởi các hệ thống giám sát và kiểm soát AI không thể tháo dỡ, là rủi ro tồn tại. Việc tập trung vĩnh viễn quyền lực kinh tế và chính trị vào một nhóm nhỏ kiểm soát hệ thống siêu trí tuệ là rủi ro tồn tại. Việc mất đi khả năng hành động có ý nghĩa của con người đối với các quyết định tập thể là rủi ro tồn tại. Điểm chung là tính không thể đảo ngược. Khác với chiến tranh, khủng hoảng tài chính hay thậm chí đại dịch, một siêu trí tuệ đã thoát khỏi sự kiểm soát của chúng ta và đạt lợi thế chiến lược quyết định không thể bị bỏ phiếu, sửa chữa trong chu kỳ chính sách tiếp theo, hay khắc phục bằng thời gian và nỗ lực. Kết quả không thể hoàn tác thuộc một phạm trù khác với những kết quả chỉ cần thời gian dài để sửa chữa.

Các nhà nghiên cứu thường coi nhẹ rủi ro hay nói trí tuệ tổng quát vẫn còn xa, hoặc rằng chúng ta sẽ giữ được quyền kiểm soát. Khoảng cách không phải là lá chắn nếu đích đến là một trí óc mà ta không thể kiểm soát. Siêu trí tuệ không thể bị kiểm soát. Nếu nó được xây dựng, nó sẽ chấm dứt tương lai loài người. Đó là tuyệt chủng, không phải thảm họa có thể khắc phục.

Chờ lĩnh vực đồng ý trước là cách bạn đánh mất cửa sổ duy nhất quan trọng.

Về mặt lịch sử thì có, và lịch sử này là một lý do khiến việc bác bỏ rủi ro AI có sức hấp dẫn trực giác. Động cơ hơi nước, kháng sinh, internet: công nghệ, trên tổng thể, đã giảm bớt đau khổ và mở rộng khả năng con người. Nhưng mô hình này phản ánh điều gì đó cụ thể về cách các công nghệ trước đây hoạt động. Một động cơ hơi nước không thể tự đặt mục tiêu. Một kháng sinh không thể quyết định theo đuổi điều gì khác ngoài việc diệt vi khuẩn. Các công nghệ chuyển đổi của quá khứ là những công cụ mạnh mẽ khuếch đại hành động của con người.

Siêu trí tuệ khác biệt về mặt phân loại vì nó sẽ là một tác nhân, có khả năng đặt ra và theo đuổi các mục tiêu riêng với tốc độ và quy mô vượt quá sự giám sát của con người. Lập luận lịch sử, khi áp dụng một cách máy móc, chứng minh quá nhiều: nó sẽ khuyên chống lại mọi quy định về công nghệ hạt nhân, với lý do các công nghệ trong quá khứ đã mang lại lợi ích ròng. Một số công nghệ đòi hỏi quản trị tương xứng với sức mạnh của chúng. Câu hỏi liên quan hẹp hơn: không có quản trị, AI vẫn sẽ có lợi ích trong trường hợp quan trọng nhất, khi nó vượt qua trí thông minh con người ở mọi lĩnh vực? Câu trả lời đó thực sự không chắc chắn, và sự không chắc chắn ở quy mô này đòi hỏi các thể chế thay vì lạc quan.

Công nghệ không phải là lực lượng tự nhiên không ai điều khiển được. Chúng ta đã nhiều lần làm chậm hoặc cấm các công nghệ cụ thể khi nguy cơ đủ rõ ràng: chlorofluorocarbons, xăng pha chì, nhân bản dòng tế bào sinh dục người, vũ khí laser làm mù. AI không ngoại lệ với kiểu quyết định ấy.

Nó cũng có một điểm nghẽn vật lý rõ ràng bất thường. Huấn luyện mô hình AI tiền biên đòi hỏi lượng khổng lồ chip máy tính tiên tiến nhất, và chuỗi cung ứng đó đi qua rất ít tay. Chip tiên tiến đến gần như hoàn toàn từ một nhà sản xuất duy nhất, TSMC tại Đài Loan, vốn lại phụ thuộc vào một công ty Hà Lan duy nhất, ASML, cho các máy quang khắc cực tím cực đoản cần để chế tạo chúng. Không công ty nào khác trên Trái Đất chế tạo những máy này. Một chuỗi cung ứng tập trung đến mức này là thứ chính phủ có thể theo dõi và hạn chế, và đó chính là lý do chip tiên tiến đã bị kiểm soát xuất khẩu từ lâu. Compute là nguyên liệu thô của siêu trí tuệ, và compute có thể quản trị được.

Đây là phản đối chúng tôi nghe nhiều nhất, và nó giả định rằng chúng ta sẽ yêu cầu một quốc gia tự giải trừ vũ khí. Chúng ta sẽ không làm vậy. Mục tiêu là một hiệp ước quốc tế có tính ràng buộc, cùng loại công cụ mà thế giới đã dùng trước đây để kiềm chế công nghệ nguy hiểm. Gần như mọi quốc gia đã đồng ý ngừng sản xuất các chất hóa học đang phá hủy tầng ozone. Quân đội đã đồng ý không bao giờ triển khai vũ khí được chế tạo để làm mù vĩnh viễn. Phối hợp ở quy mô đó rất khó, nhưng đã từng làm được và duy trì được.

Giả định về Trung Quốc yếu hơn nó nghe có vẻ. Trung Quốc đã ban hành một số quy tắc ràng buộc sớm nhất thế giới về AI và ký Tuyên bố Bletchley năm 2023 công nhận rủi ro ở biên giới. Không chính phủ nào háo hức xây dựng một cỗ máy mà họ không thể kiểm soát, kể cả Trung Quốc. Và siêu trí tuệ không giống vũ khí thông thường: nó sẽ không nhất thiết làm chủ nhân mạnh hơn, vì nó có thể thoát khỏi sự kiểm soát của người xây dựng nó đầu tiên. Điều đó mang lại cho ngay cả các cường quốc đối thủ một lý do chung để không ai xây dựng nó, đó là logic đằng sau mọi thỏa thuận kiểm soát vũ trang, và là cơ sở để nghĩ rằng một hiệp ước ở đây là khả thi.

Nhiều hơn bạn nghĩ. Những điều kiện chính trị khiến quản trị ASI khả thi được xây dựng từ dưới lên, từ công dân liên hệ đại diện của họ, nhà báo viết về vấn đề, nhà tài trợ tài trợ công việc vận động, và chuyên gia luật, chính sách, kinh tế, truyền thông mang kỹ năng của mình đến vấn đề. Bạn không cần bằng tiến sĩ học máy để có vai trò ở đây. Ở giai đoạn này, nút thắt là chính trị nhiều hơn là kỹ thuật.

Tham gia danh sách gửi thư giúp bạn nắm bắt các diễn biến và cơ hội hành động. Chia sẻ lập luận với người trong mạng lưới của bạn mở rộng tầm với. Viết cho đại diện được bầu của bạn báo hiệu rằng vấn đề này có một cử tri đoàn, đó là cách các nhà lập pháp quyết định ưu tiên gì. Nếu bạn đang cân nhắc chuyển hướng sự nghiệp, chính sách AI, nghiên cứu an toàn AI, báo chí điều tra và công việc từ thiện trong lĩnh vực này nằm trong những vai trò có tác động cao nhất hiện có. Và nếu bạn có nguồn lực, tài trợ cho các tổ chức đang làm việc về vấn đề này là một trong những cách sử dụng vốn từ thiện có đòn bẩy cao nhất trên thế giới ngay lúc này.

Chiến tranh hạt nhân và đại dịch do con người tạo ra có thể giết chết quy mô văn minh. Siêu trí tuệ còn tệ hơn, và là rủi ro hàng đầu mà nhân loại đang đối mặt.

Nó nhanh hơn: một hệ thống hoạt động ở tốc độ máy nằm ngoài tầm kiểm soát của chúng ta có thể không để lại khoảng thời gian để điều chỉnh hướng. Nó không thể đảo ngược: hầu hết thảm họa, dù tàn khốc đến đâu, vẫn để lại ai đó có thể xây dựng lại. Một ASI đã đạt lợi thế chiến lược quyết định có thể không. Nó nằm trên các mối đe dọa khác chứ không phải bên cạnh chúng. Nó có thể gây ra hoặc khuếch đại chúng (cho phép vũ khí sinh học, tập trung quyền lực) trong khi loại bỏ năng lực con người để phản ứng. Đó là lý do nó đứng đầu.

Bắt đầu từ sự khác biệt rõ ràng nhất: chúng ta đã chứng kiến một trong hai mối đe dọa và chưa chứng kiến mối đe dọa kia. Vũ khí hạt nhân được chứng minh qua Hiroshima và Nagasaki theo cách khó quên nhất có thể, và mọi người sống đều lớn lên với hình ảnh đám mây nấm. Siêu trí tuệ chưa từng gây hại cho ai. Nguy cơ của nó vẫn chỉ là một phép chiếu trên đồ thị, và con người thường coi nhẹ mối đe dọa họ chưa từng thấy xảy ra.

Nhiều yếu tố làm sâu sắc thêm sự chiết khấu này. Siêu trí tuệ dễ bị liên tưởng đến khoa học viễn tưởng, nên cảnh báo bị xếp vào cùng Terminator và bị coi là cốt truyện phim. AI mà hầu hết mọi người tiếp xúc hàng ngày là chatbot hữu ích, vô hại, và trải nghiệm đó âm thầm phản bác tiếng chuông báo động theo cách vật lý hạt nhân chưa từng phải đối mặt. Hơn nữa, bom nguyên tử do một số ít chính phủ chế tạo và nắm giữ, trong khi siêu trí tuệ đang được xây dựng bởi các công ty trị giá hàng nghìn tỷ đô la, với mọi lý do thương mại để giữ cho dư luận yên ổn.

Có một sự bất đối xứng u ám ẩn trong sự so sánh. Lệnh cấm hạt nhân tồn tại vì Hiroshima đến trước và dạy cho chúng ta điều đó, còn các hiệp ước và cuộc diễn tập đến sau, khi thế giới còn đủ để tiếp thu bài học. Siêu trí tuệ không mang lại bước thứ hai như vậy. Nếu nó sai ở mức năng lực đầy đủ, sự chứng minh và sự tuyệt chủng là cùng một sự kiện. Toàn bộ lý do coi nó nghiêm túc như chiến tranh hạt nhân là chúng ta phải làm điều đó trước khi bằng chứng đến, chứ không phải sau.

Quỹ là sáng kiến từ thiện được tài trợ tư nhân. Chúng tôi không nhận tài trợ chính phủ. Chúng tôi không nhận tài trợ từ các công ty AI hay tổ chức có lợi ích tài chính trong tốc độ phát triển AI. Sự độc lập với các lợi ích thương mại AI là điều kiện tiên quyết cho công việc của chúng tôi, không phải điều ngẫu nhiên.

Chúng tôi không có lập trường về những vấn đề đó như các vấn đề độc lập. Mục tiêu của chúng tôi là ngăn chặn trí tuệ siêu nhân tạo và rủi ro tuyệt chủng loài người đi kèm với nó. Một hiệp ước quốc tế có tính ràng buộc là con đường tác động lớn nhất mà chúng tôi thấy để đạt được mục tiêu đó.

Chúng tôi không tin rằng các cuộc tẩy chay cá nhân hay lựa chọn chi tiêu cá nhân quyết định điều này. Một công ty không thể tự mình chấm dứt cuộc đua. Các động lực chỉ theo hướng sai: ai chậm lại đều có nguy cơ bị đối thủ bỏ lại phía sau. Đó là một sự thật khoa học và tâm lý về các hệ thống cạnh tranh, không phải thất bại đạo đức của bất kỳ phòng thí nghiệm nào.

Điều thay đổi cấu trúc động lực là quản trị và luật pháp: một hiệp ước quốc tế có tính ràng buộc, được xác minh, khiến việc xây dựng siêu trí tuệ trở thành bất hợp pháp và tốn kém nếu gian lận. Lựa chọn tiêu dùng cá nhân là tùy chọn. Sự phối hợp qua luật pháp là cần thiết.