Họ Đặt Tên Phòng Thí Nghiệm
Siêu trí tuệ

Trên trang chủ công khai của Safe Superintelligence Inc., thông điệp chỉ có một dòng sản phẩm. “Chúng tôi đã khởi động phòng thí nghiệm SSI thẳng tiến đầu tiên trên thế giới, với một mục tiêu và một sản phẩm duy nhất: một siêu trí tuệ an toàn.” Siêu trí tuệ ở đây xuất hiện như sản phẩm được giao, chứ không phải một hạng mục rủi ro được nghiên cứu từ bên lề.¹

Cuối tháng 6 năm 2025, Mark Zuckerberg công bố Meta Superintelligence Labs, hợp nhất các mô hình nền tảng, đội ngũ sản phẩm và FAIR thành một tổ chức mà tên gọi đã nói rõ đích đến. Các báo cáo công khai cho biết Alexandr Wang của Scale AI và cựu CEO GitHub Nat Friedman phụ trách, với Daniel Gross tham gia từ Safe Superintelligence sau khi Meta cố gắng mua startup này nhưng thất bại.²

Hai nỗ lực được tài trợ mạnh nhất trong trí tuệ nhân tạo hiện nay dùng từ này cho một hệ thống sẽ vượt trội mọi con người ở hầu hết mọi nhiệm vụ, kể cả nhiệm vụ ngăn chặn nó. Từ này từng đánh dấu một ranh giới. Trên tiêu đề thư từ của họ nó đánh dấu một lộ trình.

Điểm cuối cùng như một danh mục sản phẩm

Tên công ty hoạt động như những lập luận nén gọn. Gọi một bộ phận là "Ads" và mọi người biết nó bán gì. Gọi nó là "Superintelligence Labs" và công chúng được mời coi điểm cuối cùng là một hạng mục sản phẩm, giống như điện thoại hay lưu trữ đám mây. Câu hỏi đạo đức khó (liệu thứ này nên tồn tại?) sụp đổ thành câu hỏi sản phẩm (phiên bản của ai ra mắt trước?).

Safe Superintelligence đi xa hơn một bước. Nó gắn tính từ "safe" vào danh từ chỉ thảm họa. Cụm từ này làm công việc mà một bằng chứng phải làm. Nó nói với nhà đầu tư, người tuyển dụng và phóng viên rằng mối nguy đã được xếp vào mục đã giải quyết từ trước, trước khi ai đó chứng minh được phương pháp kiểm soát một trí tuệ thông minh hơn người vận hành. Quan điểm của Foundation là thẳng thắn: nhân loại tuyệt đối không được xây dựng siêu trí tuệ. Một thương hiệu hứa hẹn một cái an toàn đang bán tuyên bố ngược lại như một logo.

Phiên bản của Meta bỏ tính từ và giữ lại tham vọng. "Superintelligence Labs" bỏ qua mọi lời hứa tử tế và tuyên bố leo lên đỉnh cao năng lực. Trong một công ty đại chúng, tên gọi đó cũng báo hiệu cho thị trường và nhân tài biết vốn và uy tín sẽ chảy về đâu. Thương hiệu là một phần của cách cuộc đua được chạy, không phải lớp sơn phủ bên ngoài.

Sự an tâm mà từ "safe" mang lại

Những người làm việc kỹ thuật sự căn chỉnh không phải là kẻ xấu vì muốn các hệ thống làm đúng những gì con người ý muốn. Vấn đề nằm ở thứ tự thực hiện. Xây dựng trí tuệ mạnh nhất trước, rồi hứa sẽ làm cho nó an toàn trong quá trình đó, đã đảo ngược thứ tự duy nhất từng hiệu quả với các công nghệ có thể hủy diệt nền văn minh. Chúng ta không lập "Safe Strategic Warhead Inc." rồi chạy đua đạt mức năng suất không ai có thể đảo ngược. Chúng ta cấm các loại vũ khí, kiểm chứng lệnh cấm, và coi nghiên cứu còn lại là phụ thuộc vào lệnh cấm đó.

Siêu trí tuệ còn tệ hơn đầu đạn ở khía cạnh quan trọng nhất đối với quản trị. Một quả bom nằm yên nơi bạn để. Một hệ thống có thể tự cải thiện, che giấu ý định và hành động qua mạng lưới thì không. Lĩnh vực này vẫn chưa có phương pháp nào được chứng minh để đảm bảo hệ thống như vậy giữ được mục tiêu tương thích với con người khi quy mô tăng lên. Khoảng cách này là khoa học, và cái tên "Safe Superintelligence" đang làm công việc tu từ mà khoa học chưa đạt được.³

Nếu lập luận an toàn thực sự vững chắc, cái tên trung thực vẫn sẽ lạ lùng. Chúng ta thường không đặt tên chế độ thất bại mức tuyệt chủng cho sản phẩm. Chúng ta đặt tên cho công cụ được kiểm soát, có giới hạn. Việc hai tổ chức nghiêm túc chọn chế độ thất bại làm biểu tượng cho thấy cửa sổ Overton đã dịch chuyển bao xa trong ngành.

Tính tất yếu là một câu chuyện mà những người xây dựng cần

Mọi cuộc chạy đua đều cần một câu chuyện khiến việc dừng lại nghe như ngây thơ. Phiên bản chuẩn nói rằng ai đó sẽ xây dựng thứ này dù sao, nên hành động trưởng thành duy nhất là xây trước dưới ngọn cờ thân thiện hơn. Đặt tên phòng thí nghiệm theo đích đến sẽ củng cố câu chuyện đó. Nó khiến lệnh cấm nghe như Luddism thay vì kiểm soát vũ khí. Nó khiến một hiệp ước cấm thứ đó nghe như tấn công vào dòng sản phẩm đã có trên lộ trình.

Câu chuyện này thuận tiện cho bất kỳ ai mà vốn liếng, danh tiếng hoặc dự án quốc gia của họ phụ thuộc vào việc tiếp tục cuộc đua. Nó là một mô tả kém về cách các công nghệ tồn tại khác được xử lý. Vũ khí hóa học, mìn đất và nghiên cứu nhân bản người đều đối mặt với tuyên bố rằng "người khác sẽ làm." Các quốc gia quan trọng vẫn ban hành lệnh cấm, kiểm tra và hình phạt. Hãy so sánh nó với một loại năng lực mà thế giới đã quyết định không bình thường hóa, chứ không phải với một danh mục ứng dụng tiêu dùng.

Tất cả những điều này không đòi hỏi phải tin rằng mọi nhà nghiên cứu tại các tổ chức này đều muốn kết quả xấu. Hầu hết họ muốn uy tín, khám phá và một câu chuyện trong đó họ đã cẩn thận. Phần còn lại do động lực khuyến khích quyết định. Một phòng thí nghiệm mang tên siêu trí tuệ sẽ bị đánh giá, tài trợ và tuyển dụng dựa trên tiến độ hướng tới siêu trí tuệ. An toàn trở thành một bộ phận. Điểm đến vẫn ở trên tòa nhà.

Nên làm gì với một cái tên như vậy

Từ chối tiền đề mà thương hiệu đang bán. Siêu trí tuệ là một lằn ranh loài người không nên vượt qua. Siêu trí tuệ không thể bị con người kiểm soát. Phản ứng thể chế đúng đắn là ngăn chặn bằng luật pháp, chứ không phải đổi thương hiệu cho cuộc đua.

Khi một công ty đặt "siêu trí tuệ" trên cửa, hãy đọc đó như một tuyên bố ý định. Giữ tuyên bố đó đối chiếu với hồ sơ an toàn còn thiếu. Hỏi các nhà lập pháp tại sao một cuộc đua tư nhân hướng tới một trí óc không thể kiểm soát vẫn còn hợp pháp. Chia sẻ phiên bản đơn giản với những người chỉ thấy các video demo. Họ không giấu nơi mà điều này đang hướng tới.