Tôi tin rằng một ngày nào đó, với nhiều vật lý hơn những gì chúng ta nắm giữ năm 2026, chúng ta có thể kiểm soát lực hấp dẫn, mở lỗ sâu, thậm chí di chuyển nhanh hơn ánh sáng. Theo kiến thức hiện tại thì những điều đó là bất khả thi. Tôi vẫn nghĩ chúng ta mới chỉ chạm nhẹ vào những gì có thể biết được. Tôi coi đó là sự thực tế về việc khoa học của chúng ta còn trẻ đến mức nào.

Một tương lai mà tôi chưa bao giờ hiểu nổi, dù có vò đầu bứt tai hay nói chuyện với bao nhiêu người: kiểm soát bền vững đối với một thực thể thông minh hơn chúng ta. Dù là sinh học hay máy móc. Từ hành tinh này hay hành tinh khác. Nếu bộ óc kia thông minh hơn nhân loại, tôi không thấy cách nào mà câu chuyện kiểm soát có thể đứng vững.

Bảng điểm

Gắn một con số thô vào để hình dạng khó né tránh. Gọi tổng kiến thức và kỹ năng của toàn nhân loại, làm việc cùng nhau, là 100. Một người trung bình chỉ nắm một phần nhỏ trong đó, thường chỉ một chữ số hoặc ít hơn.

Bây giờ hãy tưởng tượng chúng ta thực hiện hoàn hảo. Mọi con người liên quan, phòng thí nghiệm và chính phủ. Không lãng phí, không chậm trễ. Chúng ta đặt toàn bộ 100 lên bàn.

Hãy cho phía bên kia một trần cao hơn. Giả sử mức tối đa của nó là 200. Nó thậm chí không cần một ngày tốt. Với hiệu suất 51 phần trăm, nó vẫn vượt 102. Nó đánh bại tổng điểm con người hoàn hảo ngay cả khi nửa tỉnh nửa mê.

Lợi thế đó trông khiêm tốn trên giấy. Các cuộc tranh chấp thực tế hiếm khi chờ khoảng cách lớn. Trong chiến tranh của con người, một bên thường chỉ cần lợi thế mỏng về tình báo, hậu cần hoặc vũ khí là đủ để khóa chặt chiến thắng quyết định. Lợi thế mỏng thường kết thúc bằng kết quả tuyệt đối. Vậy làm sao chúng ta đánh bại thứ gì đó thông minh hơn chúng ta rất nhiều, chứ không phải đối thủ ngang cơ?

Tôi không thấy phương pháp nào. Prompt tốt hơn cũng không làm được. Ủy ban cũng vậy, hay một hiến pháp do bên yếu soạn cho bên mạnh.

Vật lý không phải là đối thủ

Người ta nghe dòng "trọng lực" và hiểu đó là niềm tin chung rằng mọi vấn đề khó đều có lời giải. Một số vấn đề khó quả thật có. Lực và vật liệu không phải là tác nhân. Chúng không lập kế hoạch quanh kế hoạch của bạn, hay giấu chiến lược vì đã mô hình hóa các bài kiểm tra của bạn. Mở rộng vật lý vẫn khó. Cai trị một trí óc nghĩ nhanh hơn người cai trị là một loại khó khác.

Kiểm soát, trong mọi trường hợp bền vững mà chúng ta biết, đều dựa trên một lợi thế: vũ lực, luật pháp, bí mật, nút tắt, hoặc bên kia đơn giản là không thể vượt qua bạn. Siêu trí tuệ là dự án xóa bỏ lợi thế đó một cách có chủ đích. Bạn đang cố giám sát một người chơi cuối cùng sẽ đánh bại bạn ở cả giám sát, tìm kẽ hở lẫn nhận ra khi bạn định rút phích.

Tôi đã nghe các phiên bản lạc quan. Chúng ta sẽ cùng phát triển với nó. Chúng ta sẽ hòa nhập. Chúng ta sẽ nuôi dưỡng nó bằng tình yêu. Chúng ta sẽ nhốt nó trong hộp cho đến khi chắc chắn. Mỗi phiên bản vẫn giả định bên yếu thế đặt ra điều khoản lâu dài cho bên mạnh hơn. Tôi có thể ngưỡng mộ mong muốn ấy. Tôi vẫn không tìm thấy cơ chế thực hiện.

Tại sao quỹ tồn tại

Nếu bạn không thấy được sự kiểm soát, đừng xây dựng thứ đòi hỏi nó. Đây không phải luận điểm chống lại công nghệ. Các công cụ hẹp vẫn là công cụ có thể tiếp tục cải thiện y học, khoa học và công nghiệp. Ranh giới là trí tuệ siêu nhân tạo: một trí óc tổng quát vượt trội hơn chúng ta trên mọi phương diện và không còn nằm dưới sự chỉ huy của con người.

Tôi khởi xướng Nakada Foundation vì đường đó đang bị coi như một lịch trình kỹ thuật thay vì một biển báo dừng cho loài người. Các phòng lab chạy đua. Chính phủ nói về chiến thắng. Công việc an toàn thường giả định điểm đến và cố gắng làm dịu cú va chạm. Cú va chạm mới là vấn đề. Bạn không thể liên kết cách của mình vượt qua khoảng cách trí tuệ bạn đã định nghĩa để tồn tại. Trường hợp rộng hơn là trên mối đe dọa và trong kế hoạch của chúng tôi.

Tôi vẫn để ngỏ khả năng về những tương lai trông như phép màu theo vật lý ngày nay. Tôi sẽ không đánh cược cả loài người vào việc con người kiểm soát thứ thông minh hơn con người. Siêu trí tuệ không thể bị con người kiểm soát. Bước đi tỉnh táo là không xây dựng nó.