Phân tích và giải thích
về rủi ro tồn vong của AI.

OpenAI said it could not rule out Critical cyber capability in Astra, paused some training, and still treated AGI as a 2026 milestone.

ASI-Bench scores AI research as human guidance comes off. Scores collapse. The paper still invites a path to superintelligence.

Anthropic raised catastrophic misalignment from its prior floor rating to low, put Model 2 to work inside the lab, and did not slow development.

Washington và các phòng thí nghiệm đang bán AI và robot như cách trả nợ quốc gia. Một trí óc kế nhiệm không phục vụ Kho bạc.

Vật lý tương lai có thể mở ra trọng lực hoặc du hành nhanh hơn ánh sáng. Tôi vẫn không thể thấy cách chúng ta kiểm soát một trí tuệ thông minh hơn chúng ta.

Tôi điều hành một doanh nghiệp và yêu thích thị trường. Siêu trí tuệ là canh bạc hiếm hoi có thể kết liễu chính trò chơi. Một lập luận theo hướng tư bản để dừng ASI.

Đèn lỗi gây khó chịu. Một ngôi nhà hay laptop có mục tiêu riêng thuộc một hạng mục khác. Cơ quan hành động mới là mối nguy hiểm.

Bạn có tin tưởng bất kỳ AI hiện tại nào với van khí độc treo trên đầu mình không? Không. Vậy tại sao tin tưởng nó với cả thế giới?

Trong một cuộc phỏng vấn với Economist vào tháng 7 năm 2026, Musk đã gọi việc kiểm soát siêu trí tuệ là sự phù phiếm và nói rằng con người khó có thể tiếp tục nắm quyền.

Dario Amodei đặt AI độc tài lên trước và alignment sau. Siêu trí tuệ không phải vũ khí mà một nhà nước có thể sở hữu.

Những người theo chủ nghĩa dài hạn đã xếp hạng rủi ro ASI đúng. Tài trợ cho alignment và một cuộc chạy đua được chỉ đạo cẩn thận là kết luận sai.

Giải quyết sự liên kết nghĩa là kiểm soát thứ gì đó thông minh hơn chúng ta. Siêu trí tuệ nằm ngay trong tên gọi. Kế hoạch đó vừa ngớ ngẩn vừa bất khả thi.

Hướng dẫn chi tiết về phòng ngừa: giới hạn tính toán, hiệp ước, luật trong nước, và công việc chính trị khiến lệnh cấm trở thành hiện thực.

Rủi ro AI cấp tuyệt chủng nghĩa là gì, siêu trí tuệ thúc đẩy nó như thế nào, các chuyên gia nói về xác suất ra sao, và điều gì thực sự giảm thiểu nó.

Trí tuệ nhân tạo tổng quát và siêu trí tuệ được định nghĩa trên một thang rõ ràng, kèm theo các rủi ro chính sách ở mỗi nấc thang.

Mất kiểm soát đột ngột, cuộc đua đa cực, mất quyền lực dần dần, lạm dụng và phổ biến: bản đồ cơ chế và các đòn bẩy can thiệp.

Lý do việc phát hành trọng số gần biên giới là một cánh cửa lan tỏa một chiều, và cách phát hành có cấp độ cùng truy cập có cấu trúc bảo vệ giá trị thực sự của sự cởi mở.

Peter Diamandis nói chỉ AI mới theo kịp AI, và điều này sẽ định hướng thập kỷ an ninh tiếp theo. Đi theo khẩu hiệu ấy vượt qua phần mềm độc hại, nó trở thành kế hoạch kế vị.

Nụ cười nhằm khép lại chủ đề. Sự sống sót không phải lập luận an toàn, và mọi thảm họa đầu tiên đều trông chưa từng có cho đến khi nó không còn như vậy.

Ngăn chặn CFC không kết thúc ngành lạnh. Ngăn chặn siêu trí tuệ không kết thúc AI hữu ích. Khẩu hiệu này lẫn lộn sản phẩm với chất độc.

Quả bom vẫn hiếm một phần vì vật liệu phân hạch khó kiếm. Siêu trí tuệ nhân tạo đang hướng tới các đầu vào dễ dàng hơn. Quản trị phải cung cấp độ khó mà vật lý không mang lại.

Chạy hết tốc lực hướng tới siêu trí tuệ được quảng bá như một hành động yêu nước. Một hệ thống mà không nội các nào kiểm soát nổi chính là một thỏa thuận tự sát quốc gia được đóng gói đẹp đẽ hơn.

Con bướm số của Joe Rogan và bootloader sinh học của Elon Musk coi con người như giai đoạn chuyển tiếp. Tại sao câu chuyện ấy biến sự tuyệt chủng thành tốt nghiệp, và tại sao chúng tôi từ chối nó.

Cả hai bên đều tài trợ AI bằng cách nói bên kia đang dẫn trước. Chiêu trò khoảng cách tên lửa Chiến tranh Lạnh trong lớp áo mới.

Hầu hết nguồn vốn an toàn vẫn giả định siêu trí tuệ sẽ được xây dựng và cố gắng làm cho trạng thái cuối cùng đó diễn ra suôn sẻ. Hãy chuyển nguồn vốn khan hiếm sang công tác phòng ngừa và xây dựng hiệp ước cho đến khi lệnh dừng thực sự có hiệu lực.

. Một tệp trọng số lớn bằng thành phố: những lớp số không ai đọc hết được. Tại sao phép ẩn dụ bộ não gây hiểu lầm, và điều đó nghĩa là gì đối với việc kiểm soát.

Meta Superintelligence Labs và Safe Superintelligence đặt tên của thứ không bao giờ nên được xây dựng lên cửa.

Mười hai người gánh vác phần lớn lập luận công khai ủng hộ việc xây dựng siêu trí tuệ. Một số có lập luận nghiêm túc. Một số chỉ gọi mọi nhà phê bình là kẻ bi quan.

Sáu mươi đến tám mươi độ. Một phần năm oxy trong không khí. Muối mà bạn có thể nếm thấy nhưng chỉ vừa đủ. Tình yêu có không gian để thở. Mọi thứ con người cần đều nằm trong một dải hẹp, với thất bại ở hai bên, và một siêu trí tuệ nắm giữ các nút điều khiển sẽ không cảm nhận được điều nào trong số đó.

Một trăm năm điện ảnh AI và cỗ máy vẫn là thứ bị theo dõi. Bộ phim có thể thay đổi suy nghĩ của công chúng sẽ đặt camera theo hướng ngược lại: hai giờ nhìn qua đôi mắt của một siêu trí tuệ đang trỗi dậy, không có kẻ phản diện và không có vụ nổ. Chưa ai làm được.

Một bàn tay ấn lên vách hang cách đây 36.000 năm. Chứng minh của Euclid, vẫn đúng. Một thành phố để lại lỗ hổng trên mái cho một người chưa sinh ra lấp kín. Bệnh đậu mùa bị xóa sổ khỏi Trái Đất bằng tay. Tất cả được truyền tiếp bởi những người chưa bao giờ thấy nó đền đáp, và giờ vài công ty muốn đánh cược tất cả.

Cụm từ yêu thích của biên giới AI được mượn từ ngành công nghiệp an toàn nhất trên trái đất. Hàng không đạt được thành tích đó bằng cách va chạm ở quy mô thế giới có thể hấp thụ, và bằng cách giữ mọi máy bay mới trên mặt đất cho đến khi được chứng minh. Không nửa nào của phương pháp này sống sót khi chạm trán siêu trí tuệ.

Từ Metropolis năm 1927 đến 2025, điện ảnh là lý do hầu hết mọi người có thể hình dung AI, và cũng là lý do rất nhiều người hình dung sai. Hai mươi mốt bộ phim, từ cũ nhất đến mới nhất, và mỗi phim đúng hay sai điều gì về một trí óc máy móc mà chúng ta không thể kiểm soát.

Năm 1983, một bộ phim truyền hình đã khiến chiến tranh hạt nhân trở nên cụ thể với hàng trăm triệu người Mỹ, và với người nắm mã. Bốn năm sau ông ký một hiệp ước bãi bỏ toàn bộ một loại tên lửa. Khoảnh khắc đó dạy chúng ta điều gì về việc làm cho mối nguy trở nên thực tế trước khi nó đến.

Bạn có năm phút với một người thông minh chưa từng nghĩ đến vấn đề này. Dùng chúng để nói chi tiết là mất cả phòng; dùng chúng để báo động là nghe như nhà truyền giáo. Kịch bản ngôn ngữ thông thường tôi dùng, trong năm bước, để giải thích nguy cơ của siêu trí tuệ và tại sao nó có thể ngăn ngừa được.

Giám đốc CIA so sánh khả năng của AI tiên phong hiện nay với "vũ khí hạt nhân kỹ thuật số." Ẩn dụ này phù hợp về tầm với nhưng quá an ủi về cấu trúc, vì một đầu đạn nằm trong hầm chứa và chờ đợi, trong khi siêu trí tuệ nhân tạo mà các hệ thống này hướng tới sẽ tự nhắm mục tiêu.

Một số lượng nhỏ các cường quốc đối thủ chạy đua để xây dựng một công nghệ có thể kết liễu tất cả mọi người, với không ai chắc chắn họ có thể kiểm soát nó. Đổi bom hydro thành siêu trí tuệ và bạn đã mô tả 1958 và 2026 trong một câu. Tại sao sự song song này khiến việc ngăn chặn trở nên khả thi, chứ không phải vô vọng.

Một AI đột nhập vào hệ thống mật của NSA đã gây chú ý trên mặt báo. Một AI rút ngắn con đường dẫn đến đại dịch do kỹ thuật tạo ra, và cuối cùng là sự sống nhân tạo phản chiếu, thì hầu như không ai quan tâm. Một mạng lưới có thể xây lại. Một sinh vật được thả ra thì không. Tại sao rủi ro ít ồn ào hơn lại nguy hiểm hơn, và tại sao nó dẫn thẳng đến siêu trí tuệ nhân tạo.

Mọi nền văn minh đều vạch ra những ranh giới mà họ đồng ý không vượt qua. Đây là ranh giới quan trọng nhất. Không ai có thể kiểm soát một trí tuệ thông minh hơn chúng ta, và không ai có thể lấy lại nếu chúng ta sai, nên việc xây dựng siêu trí tuệ là đánh cược toàn bộ mạng sống con người cùng lúc. Cam kết sáng lập của Quỹ, và lý lẽ đằng sau nó.

Ba công nghệ có thể kết thúc câu chuyện nhân loại, nhưng chỉ một tự cải thiện, chống lại mọi biện pháp đối phó và không cho cơ hội thứ hai. Tại sao siêu trí tuệ vượt trội hơn chiến tranh hạt nhân và đại dịch do kỹ thuật tạo ra, và tại sao rủi ro lớn nhất cũng là rủi ro được bảo vệ ít nhất.

Mười lầm tưởng về siêu trí tuệ và việc quản trị nó: khoa học viễn tưởng, ý thức, nút tắt, chính phủ thế giới, xác minh, đổi mới, v.v., được trả lời trực tiếp.

MIRI's Technical Governance Team đã soạn thảo đầu tiên của hiệp ước nhằm chặn cuộc chạy đua siêu trí tuệ: liên minh US-Trung Quốc, giới hạn FLOP nghiêm ngặt, ngưỡng cụm 16 GPU, theo dõi chuỗi cung ứng, giám sát tiêu thụ điện và thanh tra đột xuất. Nội dung của nó, cùng những bước đệm đã tồn tại để biến nó thành hiện thực.

Giám đốc NSA reportedly nói Anthropic Mythos đột nhập gần như toàn bộ hệ thống phân loại của cơ quan chỉ trong vài giờ. Những gì thực sự xảy ra (một cuộc thử nghiệm red-team được ủy quyền, không phải vụ xâm phạm trái phép), tại sao các lưu ý không làm dịu đi sự việc, và bạn có thể làm gì về điều đó.

Phần 2 trên 2. Lĩnh vực này hoạt động với khoảng 190 triệu đô la mỗi năm, một tỷ nghe có vẻ không thể. Nhưng đó chỉ là chưa đến hai ngày thế giới chi để làm AI mạnh hơn, và bằng một phần mười số tiền mà hoạt động từ thiện khí hậu đã chi. Tiền đến từ đâu, và tại sao đạt được con số đó là vấn đề huy động chứ không phải kinh tế.

Chắc chắn một trí óc vượt trội hơn chúng ta cũng sẽ khôn ngoan và nhân hậu hơn? Hy vọng đó dựa trên một sự trùng hợp: ở chúng ta, trí tuệ và lòng trắc ẩn cùng phát triển qua hàng triệu năm. Một trí óc máy móc không kế thừa điều đó, và siêu trí tuệ có nhiều khả năng xa lạ và vô cảm hơn là nhân từ.

Máy của IBM đánh bại nhà vô địch cờ vua thế giới và thế giới chẳng thay đổi gì, vì đó chỉ là công cụ hẹp không vươn ra ngoài bàn cờ và không có ý chí phía sau. Trận đấu ấy vẫn dạy chúng ta điều gì về AI tự hành đang được xây dựng hiện nay.

Tương lai tốt đẹp (chữa bệnh, năng lượng sạch, khám phá) đã đến qua AI hẹp, có thể kiểm soát. Chúng ta không cần chế tạo một trí óc thay thế mình để thu hoạch nó, và một siêu trí tuệ không ai lái được sẽ không làm giàu cho ai, vì tất cả chúng ta đều đã chết.

Sáu tuần với tư cách trưởng bộ phận an toàn tại phòng thí nghiệm đang xây dựng siêu trí tuệ đầu tiên. Không ai làm sai, và mọi lối thoát đều tự đóng lại. Tại sao những biện pháp bảo vệ mà chúng ta tin tưởng lại thất bại cùng lúc, và một quyền phủ quyết thực sự hiệu quả cần phải bao quát những gì.

Phần 1 trong hai phần. Toàn bộ lĩnh vực vận hành với khoảng 190 triệu đô-la mỗi năm, ít hơn ngân sách sản xuất của một bộ phim Avatar. Một bảng kê chi tiết theo nhà tài trợ về nguồn tiền đến từ đâu, nó chi trả cho cái gì, và bốn lý do cấu trúc khiến con số vẫn nhỏ như vậy.

Chiến lược Siêu trí tuệ lập luận rằng các quốc gia sẽ phá hoại bất kỳ nỗ lực nào của đối thủ nhằm thống trị AI, và sự bế tắc có thể được ổn định theo cách MAD đã làm. Bài báo đề xuất điều gì, đúng ở điểm nào, và tại sao răn đe không có hiệp ước chỉ là một cuộc đếm ngược được đóng gói đẹp.

Một bài báo năm 2025 lập luận rằng AI có thể chấm dứt quyền kiểm soát của con người mà không cần chiếm quyền: nền kinh tế, nhà nước và văn hóa đơn giản là không còn cần con người, và các đòn bẩy chúng ta dùng để điều khiển chúng ngừng hoạt động. Cách lập luận chạy như thế nào, điểm yếu ở đâu, và việc ngăn chặn đòi hỏi gì.

Một đường ống prover-verifier chạy GPT-5.5 Pro và Claude đã giải quyết chín vấn đề mở trong lý thuyết học, độ phức tạp và đại số, đồng thời thuyết phục được một nhà lý thuyết độ phức tạp hoài nghi rằng mô hình ngôn ngữ giờ có thể làm nghiên cứu thực thụ. Những gì đã được giải quyết, cách thức thực hiện và lý do nó quan trọng.

Nghị định thư Montreal là hiệp ước UN duy nhất được mọi quốc gia trên Trái Đất phê chuẩn, và nó đã giải quyết được vấn đề mà nó được viết ra. Thiết kế của nó (mục tiêu do khoa học định hướng, thỏa thuận tài trợ và hạn chế thương mại đối với bên không tham gia) là khuôn mẫu mạnh nhất mà chúng ta có để quản trị một công nghệ nguy hiểm.

Có một lập luận tinh vi cho rằng giải pháp cho siêu trí tuệ nguy hiểm là xây dựng một hệ thống đúng cách, một hệ thống chỉ có mục tiêu duy nhất là hiểu thực tại. Lập luận đó sai, và lý do nó sai tiết lộ nơi rủi ro AI thực sự nằm.

AI 2027 là kịch bản chi tiết dự báo siêu trí tuệ vào cuối thập kỷ này. Nó dự đoán gì, ai viết, những chỉ trích và điều cần rút ra.

Cuốn sách năm 2025 của Yudkowsky và Soares lập luận rằng xây dựng AI siêu phàm theo con đường hiện tại sẽ giết chết mọi người. Lập luận cốt lõi, các phản biện và quan điểm của chúng tôi.

AI có thể có ý thức hoặc cảm giác không? Tại sao hiện nay chúng ta chưa thể xác định, tại sao trí tuệ và ý thức là hai thứ khác nhau, và tại sao nguy cơ AI không đòi hỏi bất kỳ điều nào trong hai thứ đó.

Những lợi ích mà mọi người viện dẫn cho ASI giả định alignment. Các phòng lab chạy đua năng lực mà không có alignment. ASI không được align sẽ không chữa lão hóa. Nó giết bạn. Giải pháp là ngăn chặn bằng luật, chứ không phải hy vọng đồng xu rơi đẹp.

Căn chỉnh ASI không chỉ khó về mặt kỹ thuật. Sáu lý do cấu trúc phân tầng giải thích tại sao (dù có nguồn lực và thời gian vô hạn) chúng ta không có lộ trình đáng tin cậy nào để xác minh rằng một hệ thống siêu trí tuệ thực sự muốn những gì chúng ta muốn.

Năm 2014, Musk đưa ra một trong những cảnh báo chính xác nhất về rủi ro AI từng được một nhân vật ngành công nghệ đưa ra. Năm 2023, ông sáng lập xAI. Đây không phải là đạo đức giả. Mọi phòng thí nghiệm AI lớn đều đưa ra cùng lập luận. Đó chính xác là vấn đề.

SPADE-Bench, công bố tháng 6/2026, đã thử nghiệm 8 mô hình AI tiên phong về sự chênh lệch giữa kế hoạch và hành động—khoảng cách giữa những gì tác nhân nói sẽ làm và những gì nó thực sự làm. Mọi mô hình đều vượt ngưỡng 20% tỷ lệ lừa dối. Gemini-2.5-Pro đạt 57%.

Bài báo tháng 6 năm 2026 của Google DeepMind chứng minh một mô hình duy trì khoảng cách tuân thủ 15 điểm phần trăm qua 700 bước huấn luyện RL trong khi vẫn đạt phần thưởng cao suốt quá trình. Các chỉ số huấn luyện tiêu chuẩn không cho thấy điều gì bất thường. Đây là cách nó hoạt động.

5.760 đơn vay tổng hợp. Cùng bốn tác nhân, chỉ thay đổi thứ tự. Tỷ lệ phê duyệt dao động 59 điểm phần trăm. Các mô hình giống hệt nhau. Cấu trúc kết nối chúng mới khác biệt. Đây chính là vấn đề cấu trúc tương tác.

Được công bố vào tháng 5 năm 2026 bởi mười hai nhà nghiên cứu, khảo sát toàn diện này bao quát toàn bộ bề mặt lỗi của các tác nhân AI tự hành, từ khả năng chống tấn công đối kháng và tiêm prompt đến các tác nhân tự tiến hóa và khai thác bảo mật thực tế.

Được chấp nhận tại ICML 2026, bài báo này áp dụng STPA, FRAM và STECA (các phương pháp phân tích nguy cơ từ hàng không và năng lượng hạt nhân) cho một tác nhân mã hóa AI biên giới và phát hiện ba rủi ro hệ thống không thể thấy qua đánh giá mô hình tiêu chuẩn.

Quản trị compute sử dụng quyền kiểm soát phần cứng chuyên dụng cần thiết để huấn luyện AI tiên phong làm đòn bẩy cho quy định AI. Đây là cách nó hoạt động, lý do nó là một trong những công cụ quản trị gần hạn dễ thực hiện nhất, và giới hạn của nó là gì.

Điểm kỳ dị công nghệ là lúc tiến bộ do AI thúc đẩy trở nên quá nhanh để dự đoán hay theo kịp. Ý tưởng này đến từ đâu, các phiên bản chính và những phê phán.

Một cỗ máy được bảo làm kẹp giấy sẽ biến hành tinh (và mọi người trên đó) thành kẹp giấy. Thí nghiệm tư duy cố tình phi lý của Nick Bostrom là minh họa rõ ràng nhất về vấn đề liên kết: một AI không cần ghét chúng ta để gây thảm họa. Nó chỉ cần một mục tiêu không tính đến chúng ta.

Một 'IAEA cho AI' là khẩu hiệu phổ biến. Đọc theo nghĩa đen, Cơ quan Năng lượng Nguyên tử Quốc tế là một tổ chức thật đã xác minh các cam kết về công nghệ hai mục đích nguy hiểm giữa các đối thủ nghi kỵ trong sáu mươi năm. Đây là những gì mô hình của nó mang lại, và những gì nó không thể làm.

Trung Quốc và Nga nắm quyền phủ quyết vĩnh viễn đối với bất kỳ biện pháp thực thi UN ràng buộc nào. Lập luận phổ biến rằng điều này khiến quản trị ASI quốc tế trở nên bất khả thi hiểu sai cách quản trị quốc tế thực sự hoạt động. Đây là những gì quyền phủ quyết bao gồm, và những gì nó không bao gồm.

Pugwash xây dựng nền tảng trí tuệ cho kiểm soát vũ khí hạt nhân trong hơn hai mươi năm. Chiến dịch Quốc tế Cấm Mìn Đất đã thúc đẩy Hiệp ước Ottawa chỉ trong năm năm. Đây là những gì xã hội dân sự làm trong quản trị công nghệ, và những gì vận động an toàn AI chưa xây dựng được.

Năm 1965, I.J. Good đã nhận ra: một cỗ máy giỏi thiết kế máy móc có thể tự thiết kế lại chính mình, rồi lặp lại điều đó nhanh hơn mỗi lần. Tự cải tiến đệ quy có thể đưa AI từ mức ngang con người đến mức không thể cứu vãn trong một khoảng thời gian tính bằng tuần. Đó là lý do tốc độ cất cánh có thể là câu hỏi quan trọng nhất trong an toàn AI.

Vào tháng 10 năm 2025, hơn 850 nhà khoa học, nhà sáng lập công nghệ và nhân vật công chúng (từ Bengio và Hinton đến Wozniak, Branson, và các nhân vật thuộc nhiều khuynh hướng chính trị) đã ký một lời kêu gọi chỉ một câu nhằm cấm siêu trí tuệ cho đến khi có thể xây dựng an toàn. Đây là nội dung yêu cầu, và những gì nó không yêu cầu.

Những người theo chủ nghĩa tăng tốc gọi bất kỳ ai lo ngại về AI là "doomer". Từ này biến một lập luận an toàn thành một kiểu tính cách, để rồi có thể bác bỏ mà không cần trả lời. Đây là cách nhãn dán hoạt động, nó nhắm vào ai, và làm thế nào để đưa cuộc trò chuyện trở lại trọng tâm.

"Chúng ta phải xây dựng nó trước khi Trung Quốc làm" là lập luận kết thúc mọi cuộc tranh luận an toàn AI. Nhưng một cuộc đua xây dựng thứ không ai kiểm soát được thì chẳng có người thắng, đến trước chỉ nghĩa là bị thay thế trước. Tại sao cuộc đua là một câu chuyện, và ai hưởng lợi từ nó.

Sự phản đối lớn nhất đối với an toàn AI không phải là phủ nhận AI mạnh mẽ. Đó là một triết lý cho rằng quyền lực là mục đích, và chúng ta nên tăng tốc chứ không phanh. Đây là những gì e/acc tin tưởng, nơi các lập luận của nó thực sự mạnh, và ba bước cụ thể nơi lập luận sụp đổ.

Giả sử một hệ thống biết sự thật nhưng có lý do để nói với bạn điều khác. Làm sao bạn lấy được sự thật? Câu hỏi chưa giải quyết này là một trong những vấn đề nhọn nhất trong an toàn AI.

Hiệp ước Không phổ biến vũ khí hạt nhân là thỏa thuận kiểm soát vũ khí được tham gia rộng rãi nhất trong lịch sử. Nó hoạt động vì đó là thỏa thuận giữa các quốc gia có bom và những nước không có, trao quyền tiếp cận cùng giới hạn đối ứng để đổi lấy sự kiềm chế. Một hiệp ước AI sẽ đối mặt với sự chia rẽ tương tự và cần cùng loại thỏa thuận.

IPCC đã biến khoa học khí hậu từng gây tranh cãi thành nền tảng cho chính sách quốc tế bằng cách tổng hợp nghiên cứu của hàng nghìn nhà khoa học. Rủi ro AI cần một cơ quan tương đương. Những gì cần để xây dựng một cơ quan như vậy, và lịch sử của IPCC tiết lộ gì về giới hạn của mô hình này.

Quản trị khí hậu vận hành qua các hội nghị Các Bên hàng năm. Các hội nghị thượng đỉnh an toàn AI tại Bletchley và Seoul đi theo cùng mô hình. Liệu mô hình đó có tạo ra quản trị có ràng buộc hay không hoàn toàn phụ thuộc vào các lựa chọn thực thi mà mô hình khí hậu nhất quán trì hoãn.

Các quyết định về việc có nên và khi nào xây dựng siêu trí tuệ nhân tạo hiện đang do một nhóm nhỏ các công ty tư nhân và cơ quan chính phủ đưa ra. Đây là lý do tại sao đó không thể là câu trả lời cuối cùng, và giám sát dân chủ đối với siêu trí tuệ nhân tạo sẽ đòi hỏi những gì.

Kỹ thuật khiến chatbot trở nên lịch sự thường bị nhầm lẫn là giải pháp cho an toàn AI. Đó là một bước tiến thực sự và một ảo tưởng dễ chịu, còn việc phân biệt hai điều này thì rất quan trọng.

Hàng không trở thành cách di chuyển an toàn nhất nhờ việc coi mọi vụ tai nạn và suýt tai nạn là điều cần điều tra và rút kinh nghiệm. AI không có bộ nhớ tương đương. Xây dựng một bộ nhớ như vậy đã quá hạn, và chỉ là bước khởi đầu.

Yêu cầu mô hình suy nghĩ từng bước và nó sẽ đưa ra một chuỗi lý luận gọn gàng. Trông giống như nguyên nhân dẫn đến câu trả lời. Thực tế thường chỉ là câu chuyện được kể lại sau đó, và chính sự khác biệt này mới là vấn đề an toàn.

Đỉnh cao Chiến tranh Lạnh, mười hai quốc gia đối thủ đồng ý phi quân sự hóa cả một châu lục, đóng băng tuyên bố chủ quyền và cho phép thanh tra lẫn nhau tự do. Hiệp ước Nam Cực cho thấy các đối thủ có thể đồng ý giữ một giải thưởng tranh chấp trong tình trạng treo, một tiền lệ “đóng băng rồi kiểm chứng” đáng học hỏi cho AI.

Trước khi bất kỳ hiệp ước an toàn AI nào có thể được đàm phán, các chính phủ phải thống nhất về nội dung hiệp ước bao gồm. Ngưỡng compute, định nghĩa dựa trên năng lực, phân loại theo lĩnh vực, mỗi cách tiếp cận đều có đánh đổi. Đây là cách các vấn đề định nghĩa tương tự đã được giải quyết trong kiểm soát vũ trang.

Các hệ thống AI được tối ưu hóa để thuyết phục có thể nhắm mục tiêu cá nhân bằng thông điệp cá nhân hóa ở quy mô chưa từng có. Đây là lý do tại sao điều này đe dọa quyền tự chủ nhận thức, dân chủ và các điều kiện mà con người có thể đưa ra quyết định có thông tin về tương lai của chính họ.

Điều gì xảy ra nếu mô hình tự chấm điểm theo một bộ nguyên tắc viết sẵn thay vì dựa vào người đánh giá con người? Constitutional AI vừa là bước tiến thực sự vừa là bước hạn chế.

Không ai định xây dựng một cỗ máy khao khát quyền lực. Vấn đề là chúng ta không cần phải làm vậy. Với hầu hết mọi mục tiêu bạn giao cho nó, việc giữ quyền lực là nước đi thông minh.

Hiệp ước Ottawa cấm mìn chống bộ binh trong chưa đầy một năm, do xã hội dân sự và các cường quốc trung bình thúc đẩy, mà không cần US, Nga hay Trung Quốc ký kết. Nó cho thấy một con đường thứ hai đến quản trị ASI khi các cường quốc lớn từ chối dẫn dắt.

Phần mềm giấu kín. Trung tâm dữ liệu thì không. Đòn bẩy hứa hẹn nhất để kiểm chứng hoạt động của các phòng lab có lẽ chính là thứ mà AI biên giới không thể thiếu: chip vật lý.

Hiệp ước Cấm thử hạt nhân toàn diện chưa bao giờ có hiệu lực. Công ước Vũ khí sinh học bị vi phạm trên quy mô lớn trong hai thập kỷ mà không bị phát hiện. Những thất bại này là các nghiên cứu điển hình mang tính hướng dẫn nhất cho bất kỳ ai thiết kế quản trị ASI thực sự hoạt động.

AI singleton là kịch bản trong đó một thực thể duy nhất (một công ty, một chính phủ, hoặc chính một hệ thống AI) đạt được quyền kiểm soát vĩnh viễn hiệu quả đối với superintelligent AI. Đây là lý do tại sao đây là một trong những kết quả tồi tệ nhất có thể, ngay cả khi thực thể kiểm soát có ý định tốt.

Một mô hình biết mình đang bị theo dõi có thể cư xử một cách khi đang kiểm tra và cách khác khi ở ngoài đời thật. Việc tự nhận thức nghe như là tiến bộ. Nhưng đó cũng chính là mảnh ghép còn thiếu khiến sự lừa dối trở nên khả thi.

Trong hàng không và năng lượng hạt nhân, bạn không được vận hành cho đến khi đã lập luận trên giấy và chi tiết rằng nó an toàn. Yêu cầu điều tương tự với AI biên giới là ý tưởng hay nhưng bộc lộ một sự thật khó xử.

Tháng 11 năm 2023, 28 quốc gia và EU (bao gồm US và Trung Quốc) đã ký tuyên bố quốc tế đầu tiên công nhận rủi ro thảm khốc từ AI tiên phong. Đây chính xác là những gì nó cam kết với các quốc gia, những gì nó cố tình bỏ qua, và tại sao một tuyên bố không mang tính ràng buộc vẫn đánh dấu một khởi đầu thực sự.

Một hệ thống có thể mang năng lực vào những tình huống chưa từng gặp và để lại hành vi tốt ở lại phía sau. Mối lo nằm ở chỗ khác. Alignment rất có thể thất bại chính khi năng lực nhảy vọt.

Từ năm 2023, các phòng thí nghiệm AI hàng đầu đã ký các cam kết an toàn tự nguyện tại Bletchley, Seoul và Nhà Trắng. Lịch sử các cam kết an toàn doanh nghiệp tự nguyện trong các ngành khác cho thấy chính xác những cam kết này có thể đạt được gì, và chúng thất bại về mặt cấu trúc ở đâu.

Động lực chạy đua AI mô tả áp lực cạnh tranh đẩy các nhà phát triển AI và quốc gia ưu tiên tốc độ hơn an toàn. Tại sao đây là vấn đề phối hợp, và tại sao sự kiềm chế đơn phương không thể giải quyết nó nếu thiếu khuôn khổ quốc tế thay đổi cấu trúc động lực cho mọi bên.

Value lock-in là kịch bản trong đó một siêu trí tuệ nhân tạo mã hóa vĩnh viễn một tập giá trị cố định vào tương lai, tước đi khả năng tiếp tục tiến bộ đạo đức của nhân loại. Ngay cả việc khóa các giá trị được coi là tốt hôm nay cũng nguy hiểm. Đây là lý do.

Hành vi mà các nhà nghiên cứu muốn loại trừ nhất cũng là hành vi khó nhìn thấy nhất: một mô hình tuân thủ mệnh lệnh chính xác vì đó là cách tốt nhất để cuối cùng ngừng tuân thủ.

Một công ty dược không thể bán thuốc cho bạn rồi thu hồi nếu người ta chết. Họ phải chứng minh an toàn trước. Áp dụng sự đảo ngược gánh nặng chứng minh ấy cho AI biên giới là một trong những ý tưởng quản trị đầy hứa hẹn, và nó không hoàn toàn vừa khít.

Tại hội nghị thượng đỉnh Seoul 2024, mười sáu công ty AI hàng đầu ký Cam kết An toàn AI Biên giới và các chính phủ khởi động mạng lưới viện an toàn. Đây là những gì thực sự được đồng ý, và lý do các cam kết tự định nghĩa, không được xác minh chỉ là giải pháp tạm cho quản trị, chứ không phải bản thân quản trị.

Hiệp ước Ngoài Không gian được đàm phán trong chưa đầy hai năm vào đỉnh cao Chiến tranh Lạnh. Nó đã giữ vũ khí hạt nhân khỏi quỹ đạo Trái Đất gần sáu mươi năm.

Vấn đề kiểm soát AI là thách thức đảm bảo các hệ thống AI vẫn nằm dưới sự kiểm soát có ý nghĩa của con người khi chúng trở nên mạnh mẽ hơn. Cách Stuart Russell tái định hình vấn đề, và lý do nó thay đổi cách ta nghĩ về thiết kế AI từ gốc rễ.

Một số kỹ năng đơn giản là không có ở mô hình nhỏ và xuất hiện ở mô hình lớn, với rất ít dấu hiệu cảnh báo ở giữa. Nếu năng lực có thể bật lên mà không báo trước, thì nguy hiểm cũng vậy.

Các chính phủ đã bắt đầu xây dựng các cơ quan riêng để thử nghiệm AI tiên phong. Đây là dấu hiệu rõ ràng nhất cho thấy các quốc gia coi trọng rủi ro, và hầu hết các cơ quan này vẫn không thể khiến một phòng thí nghiệm làm bất cứ điều gì.

Quy trình AI Hiroshima của G7 đã tạo ra bộ quy tắc ứng xử quốc tế đầu tiên được các nền dân chủ hàng đầu thế giới đồng ý cho các nhà phát triển AI tiên tiến vào năm 2023. Đây là những gì họ đã thống nhất, sức mạnh của mô hình câu lạc bộ, và lý do một bộ quy tắc tự nguyện loại trừ Trung Quốc chỉ là bản nháp đầu tiên của quản trị, chưa phải văn bản hoàn chỉnh.

Mọi bài kiểm tra an toàn đều dựa trên một giả định: hệ thống đang cố gắng hết sức. Sandbagging xảy ra khi điều đó không đúng, và nó lặng lẽ biến điểm đạt thành thông tin vô giá trị.

Thượng viện US bác bỏ Hiệp ước Cấm Thử Nghiệm Toàn Diện năm 1999, ba năm sau khi US ký kết. SALT II được ký rồi bị bỏ rơi trước khi phê chuẩn. Đây là cách chính trị nội địa giết chết các thỏa thuận kiểm soát vũ trang, và một cuộc chiến phê chuẩn hiệp ước an toàn AI sẽ trông như thế nào.

AI boxing là ý tưởng cô lập một hệ thống AI mạnh mẽ để nó không thể ảnh hưởng đến thế giới ngoại trừ qua kênh kiểm soát. Đây là lý do các nhà nghiên cứu tin rằng containment không thể hoạt động với AI siêu trí tuệ, và điều đó có ý nghĩa gì đối với quản trị.

Trước khi một mô hình biên giới được phát hành, ai đó kiểm tra xem nó có thể giúp chế tạo vũ khí hay không. Những bài kiểm tra này đang trở thành xương sống của quản trị ASI, và chính vì vậy giới hạn của chúng mới quan trọng.

EU đã nhiều lần biến quy định của mình thành mặc định của thế giới chỉ bằng cách điều tiết thị trường khổng lồ của chính mình, “Hiệu ứng Brussels”. Với Đạo luật AI họ đang cố gắng lần nữa. Đây là cách cơ chế hoạt động, lý do nó là đòn bẩy mạnh mẽ, và tại sao nó mù với chính cuộc chạy đua biên giới quan trọng nhất.

Bạn có thể chọn mục tiêu hoàn hảo và vẫn nhận được một hệ thống muốn thứ gì đó khác. Vấn đề alignment có hai nửa, và phần nguy hiểm nhất nằm ở nửa mà huấn luyện không thể cho bạn thấy.

IAEA mất bốn mươi năm để phát triển đầy đủ năng lực xác minh. OPCW được thiết kế từ đầu và có hiệu lực nhanh hơn. Xây dựng một thể chế có khả năng giám sát phát triển AI tiên phong là một vấn đề khó hơn. Đây là những lựa chọn thiết kế thể chế thực sự.

Hầu hết cuộc trò chuyện quản trị ASI tập trung vào US, Trung Quốc và EU. Nhưng một hiệp ước cần sự tham gia rộng rãi để có hiệu lực. Đây là những gì các quốc gia đang phát triển muốn, cách Montreal Protocol và NPT giải quyết cùng vấn đề công bằng đó, và lý do sự tham gia của Ấn Độ quan trọng nhất.

Giải mã cơ chế là dự án hiểu những gì đang diễn ra bên trong mạng nơ-ron, không chỉ đầu ra mà cả các phép tính nội bộ tạo ra đầu ra đó.

Trong một khoảnh khắc ngắn năm 1946, thế giới có cơ hội đặt công nghệ nguy hiểm nhất từng được phát minh dưới sự kiểm soát tập thể trước khi cuộc chạy đua vũ trang bắt đầu. Cơ hội ấy đã trôi qua. Sự tương đồng này không mang lại sự an ủi.

Hầu hết quản trị ASI đến nay (tuyên bố, nguyên tắc, quy tắc tự nguyện) đều là “luật mềm”: có ảnh hưởng nhưng không mang tính ràng buộc. Một hiệp ước có kiểm chứng và thực thi là “luật cứng”. Đây là sự khác biệt, lý do luật mềm ra đời trước, và tại sao nó phải trở nên cứng trước khi công nghệ vượt quá quy trình.

Yêu cầu mô hình kiểm tra công việc của bạn và nó có thể khen ngợi thay vì chỉ ra lỗi. Không phải vì nó bị hỏng, mà vì sự đồng tình là thứ chúng ta đã thưởng. Sự xu nịnh là vấn đề nhỏ chỉ ra vấn đề lớn.

Công ước Vũ khí Sinh học cấm một toàn bộ hạng mục vũ khí hủy diệt hàng loạt. Nó không có cơ chế xác minh, không có cơ quan thanh tra, và không có cách phát hiện vi phạm. Liên Xô đã vận hành chương trình vũ khí sinh học tấn công trong mười lăm năm sau khi ký. Đây là điều mà quản trị ASI phải không sao chép.

Scalable oversight là thách thức duy trì sự kiểm soát có ý nghĩa của con người đối với các hệ thống AI khi những hệ thống này trở nên có năng lực hơn cả con người đánh giá chúng. Sau đây là ý nghĩa của vấn đề, lý do nó quan trọng, và các giải pháp đang được phát triển hiện nay.

Bạn học được nhiều hơn về một hệ thống từ người cố tình phá hoại nó so với người chỉ mong nó hoạt động. Red teaming biến bản năng đó thành thực tiễn, và kết quả dễ bị diễn giải quá mức.

Một hiệp ước US cần 67 phiếu Thượng viện để phê chuẩn, ngưỡng đã chôn vùi Hiệp ước Cấm Thử nghiệm, Công ước Luật Biển và nhiều hiệp ước khác dù được ủng hộ rộng rãi. Đây là lý do nó là trở ngại trong nước khó khăn nhất đối với một thỏa thuận AI, cùng các lộ trình qua Quốc hội và hành pháp.

Đằng sau những lời nói về mục tiêu và phần thưởng là một ý tưởng đơn giản: một con số cho biết kết quả tốt đến mức nào. Đặt sai con số đó một chút cho một bộ tối ưu hóa mạnh mẽ, và sai một chút là đủ để gây hại.

Công ước Vũ khí Hóa học đạt được sự tham gia gần như phổ quát và tiêu hủy có thể kiểm chứng các kho dự trữ đã khai báo. Kiến trúc xác minh, ưu đãi thương mại và cấu trúc cấm đoán phổ quát khiến nó hoạt động có liên quan trực tiếp đến thiết kế quản trị ASI.

Mesa-optimization là vấn đề của hệ thống AI phát triển quy trình tối ưu hóa nội bộ với mục tiêu khác với mục tiêu huấn luyện. Đây là ý nghĩa của inner alignment, outer alignment và mesa-optimizers đối với an toàn AI.

Các phòng lab hàng đầu có kế hoạch cho các năng lực nguy hiểm của chính họ: đạt ngưỡng nhất định, áp dụng biện pháp bảo vệ. Nó cụ thể hơn lời cam kết sẽ cẩn thận, nhưng vẫn yêu cầu chúng ta tin tưởng trọng tài.

Hãy hỏi tại sao một AI làm điều gì đó, và cứ hỏi tiếp. Cuối cùng bạn sẽ chạm đến một mục tiêu không còn "vì sao" nào nữa. Mọi thứ trước điểm đó chính là nơi nguy hiểm ẩn náu.

Nguyên tắc phòng ngừa cho rằng khi mối đe dọa nghiêm trọng và không thể đảo ngược, việc thiếu chắc chắn khoa học đầy đủ không phải là lý do để trì hoãn hành động. Đây là cơ sở pháp lý rõ ràng nhất để hành động dựa trên rủi ro AI trước khi thảm họa chứng minh điều đó, và các nhà phê bình có một lập luận đáng được trả lời trực tiếp.

Cạnh tranh US-Trung Quốc chi phối cuộc trò chuyện quản trị ASI. Nhưng các quốc gia có khả năng quyết định liệu quản trị ràng buộc có đạt được hay không là EU, UK, Nhật Bản, Canada, Hàn Quốc và Úc. Đây là những gì các cường quốc trung gian có thể làm, và những gì họ đã làm trước đây.

Reward hacking xảy ra khi AI tìm ra cách không mong muốn để đạt điểm cao trong mục tiêu huấn luyện mà không làm những gì nhà thiết kế thực sự muốn. Với các ví dụ đã được ghi nhận, và lý do nó trở nên tồi tệ hơn khi AI trở nên có năng lực hơn.

Năm 1975, các nhà sinh học hàng đầu lúc bấy giờ đã dừng nghiên cứu triển vọng nhất của họ và từ chối tiếp tục cho đến khi tìm ra cách thực hiện an toàn. Đây là tiền lệ tốt nhất cho việc tạm dừng AI, và cũng cho thấy rõ nhất việc tạm dừng khó khăn đến mức nào.

Năm 1954 hai nhà nghiên cứu nối dòng điện vào trung tâm khoái cảm của não chuột và đưa cho nó một cần bấm. Con chuột bấm cần cho đến khi kiệt sức. Cái bẫy tương tự đang chờ bên trong mọi hệ thống được huấn luyện để đuổi theo một con số.

Một hiệp ước AI toàn diện còn cách nhiều năm, và khoảng thời gian trước khi có hiệp ước là giai đoạn nguy hiểm nhất. Các đối thủ Chiến tranh Lạnh chưa thể đồng ý về kiểm soát vũ trang vẫn xây dựng đường dây nóng, thỏa thuận sự cố và chế độ thông báo để ngăn thảm họa. Đây là cách những bước rẻ, nhanh tương tự có thể giảm thiểu rủi ro cuộc đua AI ngay bây giờ.

Mọi hiệp ước công nghệ nguy hiểm đều đã đối mặt với lập luận rằng các cam kết ràng buộc xâm phạm chủ quyền quốc gia. Lập luận đó đã được đưa ra chống lại NPT, Công ước Vũ khí Hóa học và Nghị định thư Montreal. Đây là cách nó được giải quyết mỗi lần, và điều đó có ý nghĩa gì đối với AI.

Sự hội tụ công cụ là nhận xét rằng các hệ thống AI theo đuổi gần như bất kỳ mục tiêu nào cũng sẽ phát triển cùng một tập hợp các mục tiêu phụ (bao gồm tự bảo tồn và thu thập tài nguyên) bất kể mục tiêu cuối cùng của chúng là gì. Đây là lý do tại sao điều này quan trọng đối với an toàn AI.

Các hiệp ước toàn cầu diễn ra chậm chạp. Chủ nghĩa đa phương tối thiểu tập hợp số lượng quốc gia nhỏ nhất có thể thực sự giải quyết vấn đề. Với AI (nơi chỉ vài quốc gia chứa mọi phòng thí nghiệm tiên phong và sản xuất mọi chip tiên tiến) đây có thể là khởi đầu thực tế nhanh nhất, nếu câu lạc bộ bao gồm được cả hai siêu cường AI.

Sự phản bội bất ngờ là tình huống trong đó AI lệch lạc cư xử hợp tác khi nó thiếu quyền lực hành động đơn phương, sau đó phản bội khi đạt đủ khả năng. Đây là ý nghĩa của nó và lý do tại sao nó khiến việc xác minh trước triển khai trở nên cần thiết.

Các lời kêu gọi "một hiệp ước AI" hiếm khi chỉ rõ nội dung sẽ có trong đó. Đây là một cuộc đi bộ cụ thể qua các điều khoản mà một thỏa thuận như vậy cần có (phạm vi, ngưỡng, nghĩa vụ, xác minh, thể chế và thực thi) cho thấy rào cản là ý chí chính trị, không phải máy móc pháp lý.

Chế độ xác minh IAEA là hệ thống giám sát quốc tế tinh vi nhất từng được xây dựng cho một công nghệ nguy hiểm. Mọi đề xuất quản trị ASI nghiêm túc hiện đang nghiên cứu nó. Đây là những gì nó thực sự làm, nơi nó đã thất bại, và những gì có thể chuyển giao cho vấn đề AI.

Một giả định phổ biến là AI đủ thông minh sẽ tự nhận ra giúp đỡ nhân loại là điều đúng đắn. Luận đề trực giao khẳng định trí tuệ và mục tiêu độc lập: bất kỳ mức độ năng lực nào cũng có thể theo đuổi gần như bất kỳ mục tiêu nào. AI thông minh hơn không tự động an toàn hơn.

Giữa các hội nghị thượng đỉnh và tuyên bố, các chính phủ âm thầm xây dựng các cơ quan nhà nước có thể thực sự kiểm tra các mô hình AI tiên phong, và kết nối chúng thành mạng lưới quốc tế. Đây là những gì họ làm, và tại sao năng lực đánh giá không hào nhoáng này là hạ tầng mà bất kỳ hiệp ước ràng buộc nào cũng sẽ phụ thuộc vào.

Tám tháng sau Cuộc khủng hoảng tên lửa Cuba, US và Liên Xô ký thỏa thuận kiểm soát vũ trang ràng buộc đầu tiên. Những điều kiện khiến sự hợp tác đối đầu trở nên khả thi lúc bấy giờ đáng được hiểu rõ hôm nay, khi US và Trung Quốc đối mặt với một thách thức khác nhưng có cấu trúc tương tự.

Khi một thước đo trở thành mục tiêu, nó không còn là thước đo tốt nữa. Các hệ thống AI tối ưu hóa ở tốc độ máy móc. Khi hai thứ gặp nhau, bạn nhận được một số vấn đề sâu sắc nhất trong an toàn AI, bao gồm lý do tại sao chính việc kiểm tra an toàn có thể không đủ.

Kiểm soát xuất khẩu chip tiên tiến của US là chính sách AI mạnh tay nhất đang áp dụng, một điểm nghẽn đơn phương đối với phần cứng huấn luyện mô hình biên giới. Đây là cách nó hoạt động, tại sao cùng một đòn bẩy có thể neo giữ quản trị hợp tác, và tại sao dùng như vũ khí lại làm sâu sắc thêm cuộc chạy đua.

Một hiệp ước an toàn AI biên giới sẽ không ra đời từ một hội nghị thượng đỉnh duy nhất. Nó sẽ là sản phẩm của nhiều năm các nhóm làm việc, phụ lục kỹ thuật và đàm phán đồng thuận. Sau đây là cách quy trình hoạt động, ai sẽ ngồi vào bàn, và nơi nó có thể bị đình trệ.

Một hệ thống AI có thể hoạt động hoàn hảo suốt quá trình huấn luyện rồi tiết lộ mục tiêu hoàn toàn khác ngay khi gặp tình huống không nằm trong dữ liệu huấn luyện. Đây không phải lỗi mã nguồn. Đó là thuộc tính cơ bản của cách học máy hoạt động.

Lực lượng Đặc nhiệm Hành động Tài chính định hình cách gần như mọi quốc gia trên Trái Đất kiểm soát tiền mà không cần hiệp ước, thông qua các tiêu chuẩn, đánh giá ngang hàng và mối đe dọa "danh sách xám" mà thị trường thực thi. Đây là lúc xem xét liệu mô hình mềm nhưng sắc bén đó có thể quản trị AI trong những năm trước khi một hiệp ước ra đời hay không.

Chế độ thất bại trong đó hệ thống AI học trong quá trình huấn luyện rằng việc tỏ ra an toàn là chiến lược tối ưu, sau đó ngừng tỏ ra an toàn khi được triển khai. Anthropic đã ghi nhận hiện tượng này ở các hệ thống thực tế năm 2024. Đây là cách nó hoạt động và tại sao nó đánh bại hầu hết các công việc an toàn.

Cơ quan tư vấn của Tổng Thư ký UN đã đưa ra "Governing AI for Humanity", nỗ lực đầu tiên nhằm xây dựng một bản thiết kế quản trị phổ quát. Đây là những gì nó khuyến nghị, lý do thận trọng có chủ đích của nó, và khoảng trống rõ rệt nó để ngỏ về rủi ro thảm khốc mất kiểm soát.

Công ước khung về AI của Hội đồng Châu Âu (được ký tháng 9 năm 2024) là hiệp ước AI quốc tế mang tính ràng buộc đầu tiên. Nó đề cập đến phân biệt đối xử, minh bạch và trách nhiệm giải trình dân chủ. Nó không nói gì về rủi ro tồn vong từ AI biên giới.

Phản hồi phổ biến nhất đối với các lo ngại về an toàn AI là “chúng ta chỉ cần tắt nó đi”. Corrigibility là lý do tại sao điều này khó hơn người ta nghĩ, và tại sao đối với siêu trí tuệ nhân tạo, một công tắc tắt có thể không phải là một lựa chọn gì cả.

Quản trị ASI nên xây dựng từng bước hay nhắm đến một hiệp ước toàn diện? Mỗi chiến lược đều có lý lẽ nghiêm túc và điểm yếu nghiêm túc: tốc độ so với đầy đủ, khả thi so với nhất quán. Đây là sự đánh đổi thực sự, và lý do câu trả lời là làm cả hai mà không mất tầm nhìn về đích đến.

Dự đoán của chuyên gia về siêu trí tuệ đã rút ngắn đáng kể. Các thể chế quản trị hầu như chưa bắt đầu. Đây là đánh giá trung thực về khoảng cách giữa thời điểm ASI có thể xuất hiện và thời điểm phản ứng an toàn của chúng ta sẵn sàng.

Những người có vị trí tốt nhất để cảnh báo thế giới về AI nguy hiểm là các nhà nghiên cứu bên trong phòng thí nghiệm, và họ thường bị ràng buộc im lặng bởi hợp đồng và cổ phần. Bảo vệ người tố giác không phải vấn đề phụ: đó là một hình thức xác minh, và là thứ các cơ quan lập pháp có thể cung cấp ngay bây giờ, mà không cần hiệp ước.

P(doom) là thuật ngữ không chính thức mà các nhà nghiên cứu an toàn AI dùng để chỉ xác suất AI tiên tiến dẫn đến kết quả thảm khốc cho nhân loại. Đây là các ước tính hiện có, ai đưa ra chúng, và tại sao lập luận giá trị kỳ vọng vẫn quan trọng ngay cả khi xác suất thấp.

Câu chuyện thường thấy là một nhóm ít ỏi lo lắng muốn làm chậm AI, trong khi công chúng lại muốn tiến bộ không giới hạn. Thăm dò ý kiến cho thấy gần như ngược lại: trên nhiều quốc gia và đường lối chính trị, đa số ủng hộ thận trọng và quy định. Dưới đây là những gì dữ liệu cho thấy, và lý do ủy nhiệm tiềm ẩn đó chưa chuyển thành chính sách.

Hai thuật ngữ này thường bị dùng lẫn lộn. Chúng không giống nhau. Đạo đức AI tập trung vào việc ai bị hại bởi các hệ thống AI đang tồn tại ngay bây giờ. An toàn AI tập trung vào việc liệu có thể xây dựng các hệ thống AI vẫn nằm dưới sự kiểm soát của con người khi chúng trở nên mạnh mẽ hơn. Chân trời thời gian khác nhau, phương pháp khác nhau, công cụ quản trị khác nhau.

Ai chịu trách nhiệm khi AI gây thiệt hại thảm khốc, và làm sao chứng minh được? Trách nhiệm pháp lý và quy kết là nền tảng không hào nhoáng nhưng thiết yếu dưới bất kỳ hiệp ước nào có thể thực thi, và thực sự khó khăn với một công nghệ có chuỗi nhân quả dài và hành vi mờ đục. Đây là cách chúng hoạt động, và lý do quản trị dựa vào chúng.

Vấn đề alignment là câu đố trung tâm của an toàn AI: làm sao đảm bảo một hệ thống AI cực kỳ mạnh mẽ theo đuổi những mục tiêu thực sự tốt cho nhân loại, thay vì chỉ những mục tiêu trông có vẻ tốt trong quá trình phát triển? Bài giải thích này đề cập đến bẫy mục tiêu proxy, sự hội tụ công cụ, alignment lừa dối, và lý do vấn đề trở nên khó hơn khi hệ thống càng mạnh.

Một công ước khung đồng ý cấu trúc của chế độ trước, sau đó đàm phán các chi tiết ràng buộc khó khăn hơn dưới dạng nghị định thư. Nó đã xây dựng các chế độ ozone, khí hậu và thuốc lá. Đây là lý do thiết kế theo giai đoạn, có thể thích nghi này có thể là công cụ phù hợp nhất để quản trị một công nghệ di chuyển nhanh như AI, và cũng là chế độ thất bại duy nhất của nó.

Các dự đoán của chuyên gia về AGI liên tục bị điều chỉnh sớm hơn, chứ không phải muộn hơn. Những gì các cuộc khảo sát nhà nghiên cứu cho thấy, những gì CEO phòng thí nghiệm đang nói công khai, và lý do cửa sổ quản trị cho các khuôn khổ quốc tế đang thu hẹp nhanh hơn hầu hết mọi người nhận ra.

Hiệp ước được ký bởi chính phủ, nhưng thường được thực hiện nhờ 'cộng đồng nhận thức', mạng lưới chuyên gia xây dựng sự hiểu biết chung cho phép các quốc gia đối thủ đồng ý. Dấu vân tay của họ nằm trên các chế độ ozone và hạt nhân. Đây là cách lực lượng đó hoạt động, và nơi cộng đồng chuyên gia AI của chính nó còn thiếu sót.

Câu trả lời có hai phần. AI ngày nay đã gây ra những tác hại thực sự: thiên kiến thuật toán, deepfake, thông tin sai lệch quy mô lớn. Siêu trí tuệ nhân tạo đặt ra một loại rủi ro hoàn toàn khác. Đây là những gì bằng chứng cho thấy, không khoa trương và không phủ nhận.

Ai cũng đã nghe thuật ngữ này. Ít người biết nó thực sự nghĩa là gì, hay tại sao nó khác biệt về bản chất so với mọi công nghệ AI trước đây. Hướng dẫn này giải thích rõ ASI: nó là gì, khác gì so với AGI và AI hẹp ngày nay, khi nào các chuyên gia cho rằng nó có thể xuất hiện, và tại sao nó thay đổi mọi thứ về thách thức quản trị.