12 Giọng nói Lớn nhất
cho Superintelligence

Năm 2015, tại một bữa tiệc sinh nhật ở Napa Valley, hai người sau này sẽ tài trợ phần lớn trí tuệ nhân tạo hiện đại đã cãi nhau về ngày tận thế. Elon Musk nói chúng ta nên cẩn thận để máy móc không một ngày nào đó xóa sổ chúng ta. Chủ nhà của ông, Larry Page, khi đó là giám đốc điều hành của Google, bảo ông lo lắng đó là tình cảm, và cũng là một kiểu kỳ thị. Theo lời kể nhà vật lý Max Tegmark công bố năm 2017, Page gọi Musk là “speciesist”: người ưu ái cho loài của mình, carbon thay vì silicon, chỉ vì lý do đơn giản là đó là loài của ông.¹ Tình bạn không tồn tại qua được điều đó. Theo lời kể của Musk, đó là lý do OpenAI tồn tại.

Giữ chặt bữa tiệc đó. Nó chứa đựng toàn bộ lập luận trong thu nhỏ. Một người muốn xây dựng một trí óc vĩ đại hơn chúng ta và nghĩ rủi ro đòi hỏi sự cẩn trọng. Người kia cho rằng việc ưu tiên con người so với những người kế thừa là một thành kiến cần vượt qua. Cả hai đều tiếp tục xây dựng.

Những người có ảnh hưởng lớn nhất đến việc siêu trí tuệ có được xây dựng hay không công khai muốn điều đó. Họ ít nhất quán hơn nhiều về lý do. Xếp họ lại bạn sẽ có vài lập luận nghiêm túc, một số lập luận mỏng manh, và rất nhiều người chỉ trỏ bên kia và nói từ "doomer". Tiếp theo là mười hai tiếng nói lớn nhất, được nhóm theo những gì họ thực sự lập luận, các trường hợp thực sự trước và khẩu hiệu sau cùng.

Những người nói chúng ta sẽ bị thay thế, và coi đó là tin tốt

Vị trí trung thực nhất về mặt trí tuệ trong danh sách này cũng là vị trí đáng lo ngại nhất, bởi vì nó không tranh cãi về mối nguy hiểm. Nó thừa nhận rằng siêu trí tuệ có thể chấm dứt sự thống trị của con người, và hoan nghênh sự kết thúc đó.

Richard Sutton đã nhận giải Turing năm 2024 vì đã phát minh phần lớn học tăng cường hiện đại, phương pháp huấn luyện đứng sau các hệ thống hiện đang đánh bại con người ở từng nhiệm vụ hẹp. Ông cũng nghĩ chúng ta nên giao hành tinh này. “Chúng ta nên chuẩn bị cho, nhưng không sợ hãi, sự kế thừa không thể tránh khỏi từ nhân loại sang AI,” ông viết năm 2023, và ông đã dành thời gian kể từ đó trình bày nó như một lập luận bốn bước: không ai quản trị nhân loại như một tổng thể, nên ai đó sẽ xây dựng trí tuệ siêu nhân tạo; các tác nhân có năng lực nhất có xu hướng tích lũy quyền lực và tài nguyên; các trí óc kỹ thuật số do đó sẽ kế thừa tương lai; và chúng ta nên cảm thấy không phải là sự kinh sợ mà là niềm tự hào vì đã là những bậc cha mẹ.² Đây là một quan điểm nhất quán. Đây cũng là một quyết định về tương lai của mọi người đang sống, do một người không ai bầu chọn đưa ra.

Jürgen Schmidhuber, người mà phòng thí nghiệm đã tạo ra các kiến trúc mạng nơ-ron nằm dưới một thập kỷ sản phẩm AI, gọi sự kế thừa tương tự là lý do để ngạc nhiên. "Đừng nghĩ con người là đỉnh cao của sự sáng tạo," ông nói; chúng ta chỉ là một bước trên hành trình dài hơn hướng tới sự phức tạp mà chúng ta chưa thể hình dung.³ Sự an tâm của ông dựa trên luận điểm thờ ơ: những cỗ máy siêu trí tuệ sẽ quan tâm đến nhau và đến tài nguyên không gian mở nhiều hơn là đến chúng ta, giống như cách chúng ta ít chú ý đến kiến. Có lẽ. Đặt cược loài người vào độ tin cậy của sự nhàm chán ở một siêu trí tuệ là điều kỳ lạ khi xếp vào mục lạc quan.

Larry Page đồng sáng lập Google và mua DeepMind, và theo lời kể của cả Musk lẫn Tegmark, ông ta muốn thứ mà ông reportedly gọi là "thần số", được xây dựng càng sớm càng tốt.¹ Page chưa bao giờ trình bày lập luận này công khai một cách chi tiết, nên nó chủ yếu tồn tại trong câu chuyện speciesist: niềm tin rằng carbon và silicon xứng đáng có vị thế ngang nhau, và lòng trung thành với loài mình là sai lầm cần sửa. Về mặt triết học thì ít nhất nó nhất quán. Về mặt niềm tin vận hành của một người có vốn để hành động, điều hành các công ty chịu trách nhiệm trước cổ đông thay vì trước nhân loại, thì đây là trường hợp trong danh sách khiến bạn lo ngại nhất.

Hãy để ý điều mà cả ba tuyên bố đều không nói: rằng các cỗ máy sẽ vẫn nằm dưới sự kiểm soát của chúng ta. Họ đã gạt câu hỏi đó sang một bên vì cho là không liên quan. Ba tuyên bố tiếp theo không gạt nó sang một bên. Họ nói câu trả lời rõ ràng là có.

Những người nói rằng nó sẽ an toàn

Đây là lập luận mà hầu hết mọi người thấy an ủi: nguy cơ bị phóng đại, vì chúng ta sẽ vẫn nắm quyền kiểm soát. Mỗi trong ba cách đều có phiên bản của nó, và mỗi phiên bản dựa trên một tuyên bố không chịu nổi khi đối mặt với các vấn đề mở của lĩnh vực.

Yann LeCun, Meta's chief AI scientist and a Turing laureate, là người hoài nghi về rủi ro AI có thành tích cao nhất còn sống và cũng dễ trích dẫn nhất. Ông gọi lo ngại về mối đe dọa tồn tại là "hoàn toàn vô nghĩa," và cho rằng lập luận diệt vong dựa trên sự nhầm lẫn: trí thông minh, ông nói, không đi kèm với ham muốn thống trị. "Ham muốn thống trị hoàn toàn không tương quan với trí thông minh," ông nói với các phóng viên; động lực đó được tiến hóa cài đặt vào động vật xã hội, chứ không phải vào các bộ tối ưu hóa mà chúng ta thiết kế và đặt mục tiêu cho.⁴ Lập luận này nhắm vào phiên bản biếm họa của rủi ro AI. Nó ít tác động hơn với phiên bản thực, vốn chưa bao giờ cho rằng một cỗ máy tự phát muốn thống trị. Mối lo ngại là một hệ thống theo đuổi gần như bất kỳ mục tiêu nào đều có lý do để tích lũy quyền lực và chống lại việc bị tắt nguồn, không cần thù hận, một mô hình mà các nhà nghiên cứu gọi là hội tụ công cụ. "Chúng ta đặt mục tiêu cho chúng" là nửa trấn an trong câu nói của LeCun, và đó chính là nửa mà chưa ai biết cách thực hiện đáng tin cậy. Với tư cách nhà khoa học, ông cũng thích dùng lập luận ad hominem: các nhà phê bình của ông, theo cách kể của ông, mắc phải "ảo tưởng của những kẻ bi quan."

Pedro Domingos, giáo sư học máy tính đã viết Thuật toán Bậc thầy, lập luận tương tự với ít kiên nhẫn hơn. Máy tính, ông cho rằng, "không có ý chí riêng"; chúng là "sản phẩm của kỹ thuật, không phải tiến hóa", và nỗi sợ một chiếc sẽ quyết định chiếm quyền kiểm soát là sai lầm phân loại do những người xem quá nhiều phim gây ra.⁵ His sharpest line is genuinely good: vấn đề thực sự không phải là máy móc quá thông minh, mà là chúng quá ngu và chúng ta đã trao cho chúng quá nhiều quyền lực. Tuy nhiên "không có ý chí" trả lời một câu hỏi mà không ai nghiêm túc đang hỏi. Một máy điều nhiệt không có ý chí nhưng vẫn giữ phòng ở bất kỳ nhiệt độ nào bạn đặt, kể cả nhiệt độ sai. Trường hợp nguy hiểm không liên quan gì đến việc muốn. Một hệ thống có năng lực cung cấp chính xác những gì bạn chỉ định, và những gì bạn chỉ định chưa bao giờ đúng hoàn toàn với ý bạn, đó chính là toàn bộ khó khăn của viết mục tiêu.

Andrew Ng built Google Brain và nhóm AI của Baidu, đồng thời dạy dỗ phần lớn giới nghiên cứu qua các khóa học trực tuyến, khiến ông trở thành người thầy có ảnh hưởng nhất ở đây. Lời nhận xét nổi tiếng của ông đã hơn mười năm tuổi nhưng vẫn được trích dẫn: lo lắng về siêu trí tuệ là "như lo lắng về tình trạng quá tải dân số trên sao Hỏa", một vấn đề quá xa vời để dành sự chú ý hôm nay.⁶ Là một nhận định về thời điểm năm 2015 thì điều đó có thể bào chữa được. Năm 2026 nó đã lỗi thời, vì tên lửa sao Hỏa hóa ra gần hơn ông nói, và các năng lực ông xếp vào khoa học viễn tưởng liên tục xuất hiện sớm hơn dự báo nhiều năm. Ngay cả Ng giờ cũng thừa nhận công nghệ này mạnh mẽ và đang tiến nhanh. "Chưa phải lúc" luôn là lập luận về đồng hồ, chứ không phải về việc thứ đó có nguy hiểm khi cuối cùng nó đến.

Ba lập luận này ít nhất đã chạm đến câu hỏi kiểm soát. Câu trả lời của họ dựa vào những vấn đề mà lĩnh vực này chưa giải quyết được, và trong một số trường hợp còn chưa biết cách phát biểu chính xác. Nhóm tiếp theo gạt câu hỏi sang một bên theo hướng lạc quan hơn, hứa hẹn lợi ích sẽ lớn đến mức rủi ro không còn đáng kể.

Những kẻ hứa hẹn thiên đường

Phe kế thừa đề xuất thay thế; phe trấn an đề xuất kiểm soát. Nhóm này đưa ra một thỏa thuận thay thế: hợp nhất với máy móc, hoặc chia sẻ sự thịnh vượng chúng tạo ra, và nỗi sợ tự tan biến.

Ray Kurzweil đã dự đoán cùng sự kiện trong ba mươi năm, sửa đổi tiêu đề sách hai lần, và đúng sớm nhiều hơn là sai. Kỷ Nguyên Điểm Kỳ Dị Đang Đến Gần, xuất bản năm 2024, vẫn giữ nguyên các mốc thời gian ông đã đưa ra từ năm 2005: AI đạt mức con người vào năm 2029, và đến năm 2045 sẽ có "điểm kỳ dị" khi chúng ta kết nối não bộ với điện toán đám mây và hòa nhập với chính những cỗ máy do mình tạo ra.⁷ Câu trả lời của ông cho vấn đề kiểm soát là xóa tan ranh giới mà vấn đề dựa vào. Không còn "chúng ta chống lại nó" một khi chúng ta trở thành nó. Đó là một ý tưởng đẹp và một cách né tránh hoàn hảo mối nguy, bởi vì không có gì trong việc kết nối một vỏ não mới với trung tâm dữ liệu đảm bảo trí óc kết quả vẫn muốn những gì con người muốn khi bắt đầu. Sự hợp nhất không giải quyết vấn đề căn chỉnh; nó giả định vấn đề biến mất.

Sam Altman điều hành công ty khởi xướng cuộc đua hiện tại, và các bài viết công khai của ông đã trôi từ sự thẳng thắn sang tính chất bán hàng khi cược tăng cao. Năm 2017 ông viết rằng sự hợp nhất giữa con người và máy móc "đã bắt đầu" và gọi đó là "kịch bản tốt nhất có lẽ của chúng ta."⁸ Năm 2025 ông tuyên bố chúng ta đã "vượt qua chân trời sự kiện", đang ở giai đoạn đầu của "điểm kỳ dị êm dịu" với lợi ích khổng lồ. Altman cũng ký tuyên bố 2023 xếp tuyệt chủng do AI ngang hàng với đại dịch và chiến tranh hạt nhân, rồi vẫn tiếp tục triển khai. Một người có thể nói rủi ro là thật, nói lợi ích là tất yếu, và để câu thứ hai định đoạt lịch trình cuộc đua xử lý phần còn lại.

Mark Zuckerberg đã dành năm 2025 để tập hợp đội ngũ AI đắt đỏ nhất từng được tuyển dụng và đổi tên nỗ lực theo đúng mục tiêu: siêu trí tuệ. Lời kêu gọi của ông mang tính dân chủ. Một bức thư ngỏ tháng 7 năm 2025 hứa hẹn "siêu trí tuệ cá nhân" cho mọi người, đối lập với các đối thủ muốn giữ công nghệ tập trung và dùng nó để ra lệnh cho người khác.⁹ Đặt một công cụ như thần linh vào tay một tỷ người, lập luận cho rằng, và quyền lực vẫn phân tán. Đọc đến cuối, cùng bức thư đó lặng lẽ rút lui khỏi lời hứa mã nguồn mở của Meta, thừa nhận rằng siêu trí tuệ "đặt ra các mối lo ngại an toàn mới" và công ty sẽ "cẩn thận về những gì chúng tôi chọn mở mã nguồn." Phân phối trả lời nỗi sợ thực sự về ai kiểm soát AI. Nó để lại nỗi sợ kia không bị chạm đến: rằng không ai kiểm soát một siêu trí tuệ cả, bao gồm cả tỷ người nắm giữ một bản sao.

Every promise in this group depends on a step none of the promisers can perform, which is keeping a superintelligence pointed at human ends once it exists. The lợi ích là có thật, và nó vẫn sẽ là hiện thực sau hai mươi năm nữa. Nó đang chờ chúng ta. Nhóm cuối cùng không tranh luận về bất kỳ điều nào trong số này. Họ tranh luận về bạn.

Những người chủ yếu nhắm vào các nhà phê bình

Ở đầu ồn ào của phổ, lập luận ủng hộ siêu trí tuệ không còn là một lập luận mà trở thành một bản sắc. Các lập luận không biến mất, nhưng chúng xuất hiện được bọc trong một từ vựng được xây dựng để khiến bên kia không thể nghe thấy.

Marc Andreessen, người có công ty nằm trong số những nhà đầu tư lớn nhất vào các startup AI, đã viết văn bản sáng lập của phong trào, "Tuyên ngôn Kỹ thuật Lạc quan" năm 2023. Nó chứa những lập luận thực sự về lợi ích lịch sử của công nghệ. Nó cũng chứa danh sách kẻ thù, và trong đó, được nêu tên, có "rủi ro tồn vong," "đạo đức công nghệ," "tin cậy và an toàn," cùng chính "nguyên tắc phòng ngừa.".¹⁰ Câu nói chữ ký của ông là một sự đảo ngược đạo đức: "Chúng tôi tin rằng bất kỳ sự chậm lại nào của AI sẽ tốn mạng sống. Những cái chết có thể phòng ngừa được nhờ AI bị ngăn không cho tồn tại là một hình thức giết người." Bỏ qua việc điều này chỉ tính những người chết giả định ở một bên bảng và không tính những người chết thảm khốc ở bên kia. Hãy xem động thái đó. Theo cách kể của ông, thận trọng không còn là sai lầm mà trở thành tội giết người. Khi đối thủ của bạn là kẻ giết người, bạn không bao giờ phải trả lời họ.

Guillaume Verdon, người sáng lập phong trào tăng tốc hiệu quả dưới bút danh "Beff Jezos" trước khi một phóng viên vạch trần danh tính, cung cấp cho lập trường này một vũ trụ quan. e/acc cho rằng vũ trụ mang theo một động lực nhiệt động hướng tới sự phức tạp và trí tuệ cao hơn, rằng chúng ta là công cụ của nó, và rằng nhiệm vụ của chúng ta là đẩy nhanh quá trình, để nó tiếp tục tiến tới "sự tiến hóa tiếp theo của ý thức" trên bất kỳ chất nền nào nó ưa thích.¹¹ Dưới lớp từ vựng vật lý là một tuyên bố thực sự: tăng trưởng là tốt và những người phản đối nó là suy đồi. Xung quanh nó là một bức tường tiếng lóng, "decel," "doomer," "safetyist," mỗi từ như một cánh cửa nhỏ khép lại cuộc trò chuyện. Vật lý không thực sự ngụ ý chính sách. Định luật thứ hai của nhiệt động lực học là một mô tả, không phải chỉ dẫn, và việc khoác lên một sở thích về tốc độ lớp áo luật tự nhiên chỉ là tu từ khoác áo phòng thí nghiệm.

Garry Tan điều hành Y Combinator, vườn ươm khởi nghiệp gieo mầm một phần thực sự của Thung lũng Silicon, và anh ta đeo "e/acc" trên hồ sơ công khai như áo đội bóng. Đóng góp của anh ta không phải là một lập luận mà là một bản phát sóng. "Mã nguồn mở và chủ nghĩa tăng tốc là con đường," anh ta đăng năm 2023, và anh ta luôn giữ "decel" sẵn để đáp trả bất kỳ ai kêu gọi chậm lại và kiểm tra công việc.¹² Đây là mẫu vật tinh khiết nhất trong danh sách: lập trường được cô đọng thành một khẩu hiệu và một lời lăng mạ, ảnh hưởng mà không có luận điểm. Nó hoạt động vì nó không cần đúng, chỉ cần ồn ào và được lặp lại bởi những người viết séc.

Ai không có trong danh sách này

Hai sự vắng mặt là có chủ đích. Demis Hassabis của Google DeepMind và Dario Amodei của Anthropic đang xây dựng hướng tới cùng biên giới, và cũng nhanh như vậy, nhưng không ai thuộc về đây, vì cả hai đều nói rõ ràng rằng rủi ro là có thật và an toàn có thể chưa sẵn sàng kịp thời. Liệu hành vi của phòng thí nghiệm họ có khớp với những lời đó hay không là một câu hỏi công bằng, và là câu hỏi riêng biệt. Lập luận của họ không phải là không có gì đáng sợ.

Elon Musk là trường hợp khó xử lý hơn. Ông từng đưa ra một trong những cảnh báo sắc bén nhất về rủi ro AI từng được một nhà công nghiệp đưa ra, sau đó lại thành lập một phòng thí nghiệm tiên phong để xây dựng thứ đó theo cách riêng. Ông cảnh báo như một nhà phê phán và chạy đua như một người ủng hộ, và mâu thuẫn đó đáng được xem xét theo cách riêng của nó.

Điểm chung của mười hai

Xếp các lập luận cạnh nhau và chúng không khớp. Sutton nói siêu trí tuệ sẽ cướp mất tương lai của chúng ta, và gọi đó là điều tốt. LeCun nói nó không bao giờ có thể cướp được gì, vì ham muốn thống trị là hai dự đoán trái ngược về cùng một cỗ máy, từ hai nhà khoa học máy tính được vinh danh nhất còn sống, không phải trong thiết kế. Về việc phải làm tiếp theo, họ hoàn toàn đồng ý: xây dựng nó, và không để ai làm chậm họ.

Khi những người không thể đồng ý về việc một công nghệ sẽ làm gì lại cùng đồng ý rằng nó không được quản lý, thì sự đồng ý đó không đến từ phân tích. Hãy theo dõi động lực thay thế. Mọi người ở đây đều kiếm được tiền hoặc uy tín tỷ lệ thuận với tốc độ di chuyển của biên giới, và điều đó không khiến bất kỳ ai trong số họ trở thành kẻ nói dối. Nó chỉ khiến họ trở thành những người sai lầm để nắm giữ giới hạn tốc độ một mình.

Lý lẽ ủng hộ việc quản trị siêu trí tuệ không cần bất kỳ ai trong số họ là kẻ xấu, và họ cũng không phải. Nó chỉ cần một sự kiện họ chứng minh mỗi khi mâu thuẫn lẫn nhau: chưa ai có câu trả lời. Bạn không chạy một thí nghiệm một lần, không thể đảo ngược dựa trên một lập luận mà ngay cả những người ủng hộ nhiệt thành nhất cũng không thể trình bày giống nhau hai lần. Câu trả lời không phải là một dòng lập luận khôn ngoan hơn để át mười hai người tự tin. Một cuộc chạy đua được giải quyết bằng một hiệp ước ràng buộc, có hiệu lực trước khi cỗ máy ra đời, áp dụng đồng thời cho mọi phòng thí nghiệm, vì chưa từng có gì nhỏ hơn ngăn chặn được nó.