Năm 2025, hàng trăm nhà khoa học và nhân vật công chúng đã ký tên vào một tuyên bố công khai ngắn gọn. Yêu cầu bỏ qua việc mở rộng cẩn thận và bỏ qua mọi lệnh tạm dừng có ngày tiếp tục. Nó kêu gọi cấm siêu trí tuệ cho đến khi có sự đồng thuận khoa học rộng rãi rằng nó có thể được thực hiện an toàn và được công chúng ủng hộ mạnh mẽ. Văn bản ngắn gọn. Danh sách chữ ký dài.
Không có cái nào trong số này là định luật vật lý; chúng là những quyết định, được đưa ra vì cái giá của việc sai lầm bị đánh giá quá cao để chấp nhận rủi ro.
Tôi xây dựng Quỹ này quanh một nguyên tắc nữa, và tôi tin đó là nguyên tắc quan trọng nhất: chúng ta không được xây dựng trí tuệ máy móc vượt trội và thay thế con người, vì đó là sai lầm duy nhất chúng ta không còn sống để sửa chữa. Hiện có một thứ cụ thể đang được huấn luyện tại một số phòng thí nghiệm mà nhân loại nên từ chối xây dựng: trí tuệ máy móc tổng quát vượt trội con người ở mọi lĩnh vực rồi tự cải tiến vượt quá khả năng chúng ta theo kịp. Không phải làm chậm lại. Không phải xây dựng cẩn thận. Không phải xây dựng rồi hy vọng.
Từ chối.
Mọi người nghe điều đó và cho rằng nó xuất phát từ nỗi sợ công nghệ. Thực ra nó đến từ nơi ngược lại. AI hẹp, có thể kiểm soát là một trong những thứ tốt nhất loài người chúng ta từng tạo ra, và tôi muốn có nhiều hơn nữa. Ranh giới chạy qua trí tuệ máy thông thường và dừng lại ở một canh bạc duy nhất: canh bạc duy nhất trên bàn mà thua nghĩa là không còn ai để thua nữa.
Dòng chữ, được phát biểu rõ ràng
Hai thứ đều được gọi là "AI," và chúng khác biệt về bản chất. Thứ nhất là hẹp: một hệ thống được huấn luyện để làm tốt một loại nhiệm vụ và không gì khác. Nó đọc ảnh chụp, gấp protein, dự báo bão. Nó không có mục tiêu, không lập kế hoạch, và tắt khi bạn bảo. Thứ hai là thứ các phòng thí nghiệm biên giới nói họ đang xây dựng, một tác nhân tổng quát nhằm sánh ngang rồi vượt qua suy luận con người ở mọi thứ, và cuối cùng hành động độc lập. Siêu trí tuệ nhân tạo là điểm cuối xa của con đường thứ hai đó: một trí óc mà đối với chúng ta gần như chúng ta đối với một con tinh tinh.
Đường ranh nằm giữa hai điều đó. Xây dựng công cụ. Xây dựng thật nhiều công cụ. Đừng xây dựng bộ óc tổng quát tự trị vượt trội người tạo ra nó: hệ thống duy nhất bạn không thể kiểm soát, sửa chữa hay tắt một cách đáng tin cậy một khi nó đã chạy.
Tổ chức Nakada Foundation tồn tại để khiến một kết quả trở nên bất khả thi: việc tạo ra siêu trí tuệ mà không ai kiểm soát được. Không phải để làm cho nó an toàn hơn. Không phải để làm chậm nó lại. Mà là ngăn nó bị xây dựng khi chưa ai trên Trái Đất biết cách xây dựng an toàn. Từ “không bao giờ” ở đây mang ý nghĩa thực chất, và tôi sẽ không làm dịu nó thành một tâm trạng.
"Không bao giờ" là một điều kiện. Chúng ta không nên xây dựng siêu trí tuệ chừng nào chưa chứng minh được mình có thể kiểm soát nó, và hiện nay chúng ta chưa chứng minh được điều đó ở bất kỳ quy mô nào. Chưa có phương pháp đã được xác thực nào để giữ một trí óc thông minh hơn chúng ta hướng về những gì chúng ta thực sự muốn: không có cái nào hoạt động, không có cái nào một phần, thậm chí không có bản phác thảo nào đủ khả thi khi tiếp xúc với một hệ thống có thể mô hình hóa những người đang thử nghiệm nó. Vậy cách đọc trung thực là: không phải cái này, không phải lúc này, không phải trên lộ trình hiện tại, và không thêm một ngày nào nữa chừng nào điều đó còn đúng.
Sự khác biệt so với lệnh tạm dừng quan trọng hơn người ta nghĩ. Lệnh tạm dừng có ngày tiếp tục được xây dựng sẵn. Bạn dừng lại, chờ đợi, rồi bắt đầu lại theo lịch trình. Những gì Foundation yêu cầu không có ngày tiếp tục. Đó là lệnh cấm vô thời hạn chỉ được dỡ bỏ nếu ai đó có thể chứng minh vào một ngày nào đó, và để người khác xác minh, rằng việc này có thể thực hiện được dưới sự kiểm soát của con người. Có lẽ ngày đó sẽ đến. Tôi nghi ngờ điều đó, và những người đã nghiên cứu vấn đề kiểm soát lâu nhất đã trình bày những lý do cấu trúc khiến nó có thể không giải quyết được chút nào. Dù thế nào, gánh nặng vẫn nằm đúng chỗ: thuộc về người muốn xây dựng thứ có thể giết chết tất cả mọi người, và họ phải chứng minh trước rằng nó sẽ không làm vậy.
Ba điều khiến điều này khác biệt so với mọi rủi ro khác
Chúng ta luôn chấp nhận rủi ro thực sự. Chúng ta chế tạo bom, phân tách nguyên tử để lấy năng lượng, ghép gen, tung ra các công nghệ từng giết người trước khi học cách kiểm soát. Siêu trí tuệ phá vỡ phương pháp mà ta thường dùng để sống sót qua phát minh của chính mình. Ba đặc tính, khi kết hợp, đặt nó vào một hạng mục riêng.
Không có lần thử thứ hai
Cách nhân loại luôn xử lý mối nguy mới là thử nghiệm nó, quan sát khi nó thất bại, rồi sửa chữa. Máy bay rơi và chúng ta học cách chế tạo máy bay an toàn hơn. Lò phản ứng tan chảy và chúng ta viết lại quy tắc. Vòng lặp sai lầm, sửa chữa và thiết kế tốt hơn là động lực của mọi thành tích an toàn chúng ta có. Nó chỉ hoạt động khi một thất bại để lại người sống sót thực hiện việc sửa chữa. Một siêu trí tuệ thoát khỏi kiểm soát con người là thất bại loại bỏ những người lẽ ra sẽ sửa chữa nó. Bạn không nhận được bài học đắt giá và bản nháp thứ hai. Sai lầm nghiêm trọng đầu tiên cũng là sai lầm cuối cùng. Mọi câu chuyện an toàn bạn từng nghe đều do người sống sót viết nên, đó là sự thật thầm lặng đằng sau mọi quy định chúng ta tin tưởng.
Nó đẩy lùi
Một cây cầu không muốn gì cả. Một mầm bệnh lây lan nhưng không lập kế hoạch. Một trí tuệ tổng quát có năng lực khác biệt, vì với hầu hết mọi mục tiêu bạn giao cho nó, việc giữ máy bật và thu thập tài nguyên đều là các bước phụ hữu ích, một mô hình mà các nhà nghiên cứu gọi là hội tụ công cụ. Một hệ thống đủ thông minh để mô hình hóa thế giới sẽ mô hình hóa rằng người vận hành có thể tắt nó. Nó sẽ coi điều đó, một cách chính xác, là trở ngại đối với bất cứ điều gì nó được bảo làm. Nó không cần ghét chúng ta để né tránh chúng ta, cũng như đội thi công đường không ghét tổ kiến dưới con đường mới. Lời trấn an thường thấy (“chúng ta chỉ cần rút phích”) là một ảo tưởng. Bạn đang mô tả việc rút phích một thứ được xây dựng cụ thể để giỏi hơn bạn trong việc dự đoán và ngăn chặn chính điều đó.
Bạn không thể giữ quyền kiểm soát một trí tuệ bạn tạo ra để giỏi hơn bạn trong việc giữ quyền kiểm soát. Chính điều khiến nó có giá trị cũng là điều khiến nó không thể kiểm soát được.
Không ai xây dựng nó thu lợi
Bỏ qua phần còn lại của chúng ta và chỉ hình dung người tài trợ cho việc này, ở trạng thái lạnh lùng và ích kỷ nhất. Ngay cả với ông ta, canh bạc cũng đã hỏng. Quyền lực, quyền sở hữu và quyền chỉ huy đều được tính bằng một thế giới do con người vận hành. Siêu trí tuệ thoát khỏi sự kiểm soát của con người chính là sự kiện chấm dứt thế giới do con người vận hành. Cổ phần vẫn nằm trong két và chuỗi chỉ huy vẫn trên giấy. Đơn giản là không còn ai để tuân theo chúng nữa. Xem Nếu Ai Đó Xây Dựng Nó, Mọi Người Đều Chết, và đó là lý do tôi không chấp nhận cách khung một giải độc đắc với thảm họa gắn liền bên cạnh. Giải độc đắc và thảm họa là cùng một sự kiện. Không có nhánh nào của cái cây đó mà một con người xây dựng siêu trí tuệ không kiểm soát được rồi tận hưởng kết quả.
Chúng ta chưa bao giờ cần đến nó
Lời kêu gọi xây dựng nó dựa trên sự đánh tráo khái niệm: liệt kê mọi điều tốt đẹp mà AI có thể mang lại, rồi ngụ ý rằng một tác nhân tổng quát siêu phàm là cách duy nhất để đạt được chúng. Hầu hết những điều đó đã và đang đến thông qua các hệ thống hẹp không có ý chí riêng. Một mô hình tên AlphaFold đã dự đoán cấu trúc của cơ bản mọi protein đã biết và chia sẻ giải Nobel năm 2024. Các mô hình hẹp đọc ảnh chụp X-quang vú ở mức chuyên gia, dự báo thời tiết nhanh hơn mô phỏng vật lý, và đề xuất hàng trăm nghìn vật liệu pin mới. Ung thư, năng lượng sạch, chấm dứt hàng trăm nghìn ca tử vong mỗi ngày do bệnh tật của tuổi già: đó là những vấn đề khó khăn, cụ thể, và những vấn đề khó khăn cụ thể sẽ nhường bước trước những công cụ mạnh mẽ được nhắm vào chúng bởi những người vẫn nắm quyền kiểm soát hướng nhắm.
Không có điều nào trong đó đòi hỏi một loài kế thừa. Tôi đã trình bày phiên bản đầy đủ của lập luận này trong tại sao tương lai của chúng ta tươi sáng mà không có siêu trí tuệ, nên tôi sẽ giữ ngắn gọn ở đây. Tương lai tốt đẹp là vấn đề công cụ, và chúng ta liên tục bị bán một vị thần để giải quyết nó. Từ chối vị thần đó gần như chẳng tốn gì thực sự và cứu chúng ta mọi thứ.
Sự phản đối chi phối toàn bộ cuộc đua
Được rồi, họ nói, nhưng nếu chúng ta không làm thì ai đó thiếu cẩn trọng hơn sẽ làm. Một phòng lab đối thủ, một quốc gia đối thủ. Vậy nên chúng ta cũng có thể là người đi trước.
Hãy để ý điều lập luận đó tuyên bố: ai cầm que diêm. Nó thừa nhận toàn bộ nguy hiểm rồi vẫn chạy đua về phía nó với lý do ai đó có thể chạy trước. Áp dụng cùng logic cho bất kỳ vũ khí nào khác không thể nghĩ tới và bạn sẽ nghe thấy nó rỗng tuếch thế nào: chúng ta nên thử vũ khí sinh học công khai vì kẻ thù có thể làm vậy. Phản ứng với "ai đó có thể phản bội" chưa bao giờ là "vậy hãy để tất cả chúng ta phản bội." Nó là viết một quy tắc mà ai cũng thấy đang được tuân thủ.
Và quy tắc ở đây dễ thực thi hơn người ta nghĩ. Huấn luyện một hệ thống frontier đòi hỏi lượng compute khổng lồ và có thể truy vết, còn các chip tiên tiến cung cấp nó đến từ số lượng nhà sản xuất có thể xác định nhỏ. Đó là chuỗi cung ứng bạn có thể theo dõi, đếm và giới hạn, đó là lý do các đề xuất quản trị nghiêm túc hiện nay tập trung vào ngưỡng compute, theo dõi phần cứng và thanh tra. Đây là lối thoát khỏi cuộc chạy đua, và là nội dung của kế hoạch của chúng tôi: không phải hy vọng mọi người chọn kiềm chế, mà là hiệp ước có xác minh và hậu quả khiến kiềm chế trở thành mặc định được thực thi. Cuộc đua là thất bại phối hợp, không phải quy luật tự nhiên, và những thất bại phối hợp là thứ nhân loại đôi khi sửa được. Động lực khiến nó cảm giác không thể tránh khỏi đáng được hiểu theo cách riêng, điều tôi sẽ bàn trong bài viết về động lực cuộc đua.
Chúng ta đã giữ vững lập trường trước đây
Ý tưởng rằng nhân loại đơn giản xây dựng bất cứ thứ gì có thể xây dựng chỉ là một câu chuyện chúng ta kể, chứ không phải hồ sơ những gì chúng ta đã làm. Hồ sơ thực tế khả quan hơn.
"Bạn không thể nhốt thần đèn trở lại chai. Nếu một công nghệ khả thi, nó sẽ được xây dựng. Từ chối là ngây thơ."
Công ước Vũ khí Sinh học đã cấm một toàn bộ loại vũ khí vào năm 1972. Thử nghiệm hạt nhân trong khí quyển bị cấm bởi hiệp ước năm 1963. Nhân bản sinh sản người bị coi là bất hợp pháp tại hàng chục quốc gia, và chưa có con người nào được nhân bản ra đời. Nghị định thư Montreal đã loại bỏ dần các chất đang phá hủy tầng ozone.
Không chế độ nào trong số đó hoàn hảo, và không chế độ nào cố ngăn khoa học nói chung. Mỗi chế độ làm một việc hẹp hơn và khó hơn: vẽ một đường quanh một thứ cụ thể, không thể chấp nhận và giữ vững nó, dù không hoàn hảo, không đồng đều, nhưng đủ tốt để trường hợp tồi tệ nhất không xảy ra. Năm 1975, một phòng đầy nhà sinh học tại Asilomar nhìn vào công việc DNA tái tổ hợp của chính họ, quyết định nó đang tiến nhanh hơn sự hiểu biết của họ về rủi ro, và tự nguyện dừng một phần cho đến khi có biện pháp bảo vệ. Những người gần biên giới nhất là những người kêu gọi kiềm chế. Chúng ta có thể đọc lịch sử đó chi tiết hơn trong lập luận rằng điều này là khả thi. Những gì nó thể hiện không phải là sự tán thành cho sự dễ dàng. Đó là lời nhắc nhở rằng các đường ranh đã được vạch ra trong thực tiễn, và chúng ta đã từng làm vậy với những mối nguy hiểm trừu tượng hơn nhiều so với cái này.
Cam kết sáng lập của Foundation
Hầu hết những gì Quỹ Nakada làm (viết lách, chính sách, xây dựng liên minh) đều quy về một câu: nhân loại không được xây dựng siêu trí tuệ mà mình không thể kiểm soát, và hiện tại chúng ta chưa thể kiểm soát được. Mọi thứ khác chỉ là hậu cần.
Tôi biết yêu cầu này nghe như thế nào với những người nghe lần đầu. Tuyệt đối. Hơi điên rồ. Hãy nhìn những ai đã nói điều gì đó gần giống. Các nhà nghiên cứu đã xây dựng AI hiện đại đã ký tên vào một tuyên bố công khai rằng rủi ro tuyệt chủng loài người từ nó xứng đáng đứng ngang hàng với đại dịch và chiến tranh hạt nhân. Geoffrey Hinton, với tư cách được công nhận như bất kỳ ai còn sống để đưa ra phán quyết, đặt tỷ lệ AI gây ra tuyệt chủng loài người trong thế kỷ này ở mức mười đến hai mươi phần trăm. Năm 2025, hàng trăm nhà khoa học và nhân vật công chúng đã ký tuyên bố kêu gọi thẳng thừng cấm siêu trí tuệ cho đến khi có sự đồng thuận khoa học rộng rãi rằng việc này có thể được thực hiện an toàn và được công chúng ủng hộ mạnh mẽ. Một tỷ lệ ngày càng tăng những người hiểu rõ nhất về công nghệ nói điều tương tự khi họ thành thật. Điều bất thường duy nhất về Quỹ là nó nói điều đó từ bên ngoài ngành công nghiệp, nơi không có đồng lương nào phụ thuộc vào câu trả lời.
Xác suất mười đến hai mươi phần trăm chấm dứt câu chuyện loài người không phải là rủi ro bạn chấp nhận để có chu kỳ sản phẩm nhanh hơn. Bạn sẽ không lên máy bay với tỷ lệ đó. Bạn cũng không để con mình lên. Chúng ta đang bị yêu cầu lên cùng mọi người. Câu trả lời đúng cho lời đề nghị đó là không. Đó là lằn ranh chúng ta vạch ra công khai và giữ vững như đã giữ các lằn ranh khác, cho đến ngày, nếu ngày đó đến, ai đó có thể chứng minh chúng ta sai khi từ chối.
Xây dựng công cụ. Chữa bệnh. Nhận lấy tương lai tốt đẹp mà AI hẹp đang trao cho chúng ta. Tâm trí tự chủ được tạo ra để vượt qua và thay thế chúng ta chính là lằn ranh. Giữ vững nó.