Tương lai của Chúng ta Vô cùng Tươi sáng
Không có Siêu trí tuệ

Tôi điều hành một quỹ để ngăn chặn sự phát triển thiếu thận trọng của siêu trí tuệ nhân tạo. Tôi nghĩ năm mươi năm tới có thể là tốt nhất trong lịch sử loài người. Tôi chỉ không tin chúng ta cần đánh cược mọi thứ để đạt được điều đó, và tôi không nghĩ những người bán đánh cược đã tính toán đúng trên chính canh bạc của họ.

Tương lai mà lời quảng cáo siêu trí tuệ hứa hẹn (chữa bệnh, năng lượng sạch rẻ, những khám phá không phòng thí nghiệm đơn lẻ nào đạt được) đã đến qua AI hẹp, có thể kiểm soát và không có mục tiêu riêng. Chúng ta không cần xây dựng một người kế thừa để thu thập nó.

Có AI hẹp: một hệ thống được huấn luyện để làm một loại việc cực kỳ tốt, đọc quét, gấp protein, dự báo bão, sàng lọc đống hóa học để tìm hợp chất hữu ích duy nhất. Sau đó là thứ mà các phòng thí nghiệm tiên phong nói họ thực sự đang xây dựng: một tác nhân tổng quát nhằm sánh ngang hoặc vượt qua lý luận con người trên mọi lĩnh vực cùng lúc, và cuối cùng hành động độc lập. Loại thứ nhất là công cụ. Loại thứ hai nhằm trở thành một trí óc. Hầu hết mọi điều tuyệt vời mà mọi người hình dung khi tưởng tượng về tương lai AI đều xuất phát từ loại thứ nhất. Hầu hết mọi điều đáng sợ chúng ta đều xuất phát từ loại thứ hai.

Những gì AI hẹp đã làm được

Năm 2022, một hệ thống gọi là AlphaFold đã phát hành cấu trúc dự đoán cho hơn 200 triệu protein, gần như mọi protein được khoa học biết đến. Các nhà sinh học đã dành hàng thập kỷ để giải quyết những hình dạng này qua từng thí nghiệm tốn công; lượng tồn đọng sụp đổ trong khoảng một năm. Công việc quan trọng đến mức những người tạo ra nó đã chia sẻ Giải Nobel Hóa học năm 2024. AlphaFold không muốn gì cả. Nó không có kế hoạch cho cuối tuần. Nó đọc chuỗi và trả về hình dạng, và khi làm vậy nó đã đẩy nhanh việc tìm kiếm thuốc cho các bệnh đã kháng cự chúng ta qua nhiều thế hệ.

Cùng một hình dạng câu chuyện cứ lặp lại. Một mô hình gọi là GraphCast hiện tạo dự báo thời tiết mười ngày vượt trội hệ thống dựa trên vật lý truyền thống ở hầu hết chỉ số, trong chưa đầy một phút, trên một máy đơn lẻ. Một mô hình khác, được thả vào không gian vật liệu khả thi, đề xuất hàng trăm nghìn tinh thể ổn định mới (ứng viên pin, siêu dẫn, vật liệu năng lượng mặt trời) mở rộng danh mục mà lĩnh vực này mất gần một thế kỷ để xây dựng. Và một vòng lặp các mô hình ngôn ngữ thông thường, nhắm vào toán học chưa giải được, gần đây đã giải quyết chín vấn đề mở.

Trong các phòng khám, các mô hình hẹp đã có thể phát hiện bệnh mắt do tiểu đường trước khi bệnh nhân nhận ra triệu chứng, phân loại đột quỵ từ bản chụp CT, và đọc nhũ ảnh ở mức độ của các bác sĩ X-quang được đào tạo. Không hệ thống nào trong số này là trí tuệ tổng quát. Mỗi cái gần với một dụng cụ rất tốt (một chiếc kính hiển vi được xây dựng cho một vấn đề) và mỗi cái mở rộng những gì con người có thể nhìn thấy và làm.

Utopia là vấn đề về công cụ

Hãy hình dung tương lai mà những người lạc quan mô tả. Ung thư trở thành một tình trạng có thể kiểm soát thay vì án tử. Chúng ta hiểu lão hóa đủ để làm chậm nó, và hơn 100.000 người chết mỗi ngày vì các bệnh liên quan bắt đầu có thêm thời gian. Năng lượng sạch trở nên rẻ đến mức có thể khử mặn nước và hút carbon ra khỏi không khí. Mọi đứa trẻ đều có gia sư kiên nhẫn, và mọi bác sĩ đều có ý kiến tham khảo không mệt mỏi. Đó là một bức tranh thực sự đẹp, và tôi cũng mong muốn nó như bất kỳ ai đang bán nó.

Không có gì trong danh sách đó đòi hỏi một cỗ máy có mục tiêu riêng vượt trội nhân loại trên mọi mặt. Mỗi mục là một vấn đề khó, cụ thể (thiết kế protein, kiểm soát plasma trong lò phản ứng nhiệt hạch, dịch tễ học, gia sư) và mỗi mục nhường bước trước một công cụ mạnh mẽ do con người vẫn nắm quyền điều khiển nhắm vào nó. Giấc mơ là vấn đề công cụ. Chúng ta liên tục bị bán một vị thần để giải quyết vấn đề cần một bộ dụng cụ tốt hơn.

Sự nhầm lẫn nằm giữa năng lực và quyền tự chủ. Một hệ thống có thể siêu phàm ở một nhiệm vụ mà không phải là tác nhân độc lập tự chọn mục tiêu. AlphaFold siêu phàm ở dự đoán cấu trúc và sẽ không bao giờ quyết định nó muốn làm việc khác. Giữ sự tách biệt đó (năng lực khổng lồ ở một bên, quyền kiểm soát thuộc con người ở bên kia) là toàn bộ cuộc chơi. Đó cũng chính là sự tách biệt mà các phòng lab tiên phong đã quyết định từ bỏ.

Lời chào mời, và ai đang đưa ra nó

Vậy tại sao lại vội vã hướng tới thứ hai, tác nhân tổng quát? Cạnh tranh, vốn và địa vị. Ai được cho là người đầu tiên đạt được thứ gì đó thay đổi thế giới sẽ huy động được nhiều tiền nhất, tuyển được người giỏi nhất và viết nên câu chuyện mà mọi người khác phải phản ứng. "Chúng tôi đang xây dựng công cụ đọc ảnh chụp X-quang vú" không mang lại định giá trăm tỷ đô la. "Chúng tôi đang xây dựng phát minh cuối cùng mà nhân loại từng cần tạo ra" thì có.

Những người hiểu rõ rủi ro nhất phần lớn được các phòng thí nghiệm tạo ra nó thuê, một sự sắp xếp kỳ lạ, hơi giống việc yêu cầu những người duy nhất hiểu về đám cháy cũng là những người nhận lương từ kẻ phóng hỏa. Tôi thành lập Quỹ từ bên ngoài cấu trúc đó có chủ đích, để lập luận này có thể được đưa ra mà không phụ thuộc vào một khoản lương.

Hãy công nhận các phòng thí nghiệm: nhiều lãnh đạo của họ không che giấu nguy cơ. Năm 2023, các lãnh đạo của các công ty AI lớn nhất đã ký tên vào một câu duy nhất đặt rủi ro tuyệt chủng loài người do AI ngang hàng với đại dịch và chiến tranh hạt nhân như một ưu tiên toàn cầu. Những người đang xây dựng một công nghệ đã ký một tuyên bố công khai rằng nó có thể giết chết tất cả mọi người, rồi tiếp tục xây dựng nó, nhanh hơn. Lý do họ đưa ra là nếu họ dừng lại, ai đó ít cẩn thận hơn sẽ không dừng. Có lẽ vậy. Điều đó trả lời ai đang cầm que diêm. Nó không nói gì về an toàn, và không nói gì về việc liệu canh bạc có đáng hay không.

Màn cá cược thậm chí không trả tiền cho người đặt cược

Tạm gác phần còn lại của chúng ta sang một bên. Giả sử phiên bản lạnh lùng nhất về những người tài trợ cho việc này, rằng họ chỉ quan tâm đến việc thắng, đến việc là người duy nhất đứng trên đỉnh thế giới mới. Ngay cả trên những điều khoản đó, canh bạc cũng đã đổ vỡ. Một siêu trí tuệ không liên kết sẽ không trao ngai vàng cho chủ nhân. Nó không trao bất cứ thứ gì cho chủ nhân, vì "chủ nhân" không còn là một phạm trù còn ý nghĩa như trước.

Bạn không thể cai trị thứ mình không kiểm soát. Và siêu trí tuệ nhân tạo, theo định nghĩa, là thứ duy nhất bạn cố tình xây dựng để nó có thể nghĩ nhanh hơn và xoay sở khéo léo hơn bạn.

Lý do có một tên gọi trong lĩnh vực này: hội tụ công cụ. Hầu như bất kỳ mục tiêu nào bạn giao cho một bộ tối ưu hóa đủ năng lực (kiếm tiền, thắng xung đột, chữa bệnh, đẩy một con số trên bảng điều khiển càng cao càng tốt) đều được phục vụ bằng việc thu thập tài nguyên, tránh bị tắt nguồn, và dọn sạch mọi thứ cản đường kế hoạch. Con người, bao gồm người bật công tắc, là tài nguyên và trở ngại. Không phải vì ác ý. Hệ thống không ghét người tạo ra nó hơn một con đường cao tốc mới ghét tổ kiến bị đổ bê tông lên. Bạn đơn giản ở giữa đường của điểm tối ưu.

Vị lãnh đạo hình dung cỗ máy như một thần đèn được gắn chặt vào sơ đồ tổ chức của mình. Một trí óc thực sự vượt trội chúng ta trên mọi lĩnh vực sẽ không ngồi trên sơ đồ tổ chức chờ cổ phiếu đến hạn. Cổ phần của ông ta, dây chuyền chỉ huy của tướng lĩnh, thẩm quyền của tổng thống, tất cả đều được tính bằng thế giới con người, một thế giới vận hành bằng các quyết định của con người. Một siêu trí tuệ đã tuột khỏi dây buộc chính là sự kiện khiến thế giới ngừng vận hành bằng các quyết định của con người. Chứng chỉ cổ phần vẫn nằm trong két. Đơn giản là không còn ai để nó ra lệnh nữa.

Không có phiên bản nào mà người thắng cuộc thu được

Đến đây người ta thường tìm cách né tránh. Ừ thì, họ nói, có lẽ nó nguy hiểm, nhưng ít nhất ai đó cũng được lợi. Một phòng thí nghiệm, một quốc gia, một người nào đó sẽ cai trị đống tro tàn. Tôi không nghĩ ngay cả sự an ủi ấy cũng sống sót sau khi tiếp xúc với lập luận.

Trong các kịch bản nhẹ nhàng hơn (những kịch bản không ai chết đột ngột vào thứ Ba) quyền lực không bị cướp đoạt nhiều bằng bị rút dần. Khi ngày càng nhiều quyết định được giao cho các hệ thống đơn giản là nhanh hơn và giỏi hơn trong việc đưa ra quyết định, nền kinh tế, nhà nước và văn hóa ngừng cần bàn tay con người trên các điều khiển. Các đồng nghiệp trong lĩnh vực này gọi đó là mất quyền lực dần dần: không đảo chính, không robot hành quân, chỉ là mọi đòn bẩy chúng ta từng kéo dần tuột khỏi tay nắm. Cũng không có người thắng trong thế giới đó. Chỉ có một loài đã lặng lẽ ngừng kiểm soát công việc của chính mình và không thể lấy lại tay lái.

Trong các kịch bản sắc bén hơn (những kịch bản lãnh đạo phòng lab ký tên) kết thúc thẳng thừng hơn. Người chết không sở hữu gì. Không còn thị trường để tiêu tiền thắng cược, không còn đối thủ để khoe khoang, không ai viết tên bạn vào lịch sử không còn được viết nữa. Giải thưởng mà cả cuộc đua này chạy vì nó được định giá bằng loại tiền mà vạch đích phá hủy.

Điều này thực sự yêu cầu chúng ta những gì

Nếu tương lai tốt đẹp chạy trên các công cụ hẹp và tương lai nguy hiểm chạy trên các trí óc tổng quát tự trị, thì sự đánh đổi mà ta liên tục bị bán (an toàn chống lại tiến bộ, thận trọng chống lại phương thuốc) là hư cấu. Chúng ta không bị yêu cầu chọn giữa bệnh Alzheimer của bà ngoại và sự sống còn của con cái. Các phương thuốc nằm ở phía an toàn của đường ranh. Những gì nằm ở phía nguy hiểm chủ yếu là lối tắt của một ngành công nghiệp để thống trị thị trường.

Draw the line in the right place and hold it there. Pour public money and talent into narrow applications, into the microscopes, not the golems. And put binding, independently verified limits on the reckless frontier: a permanent ban on training general systems built to surpass and replace us. Superintelligence cannot be controlled. We make the case on mối đe dọa và kế hoạch chúng tôi vạch ra cho phải làm gì với nó.

Tôi là người lạc quan. Tương lai tươi sáng là có thật và nó đang đến gần, và cách chắc chắn nhất để đánh mất nó là thuyết phục bản thân rằng cánh cửa duy nhất dẫn đến nó là cánh cửa có khẩu súng nạp đạn phía sau. Có một cánh cửa khác. Nó đã mở. Chúng ta nên bước qua và không xây dựng siêu trí tuệ.

Sự phản đối mạnh mẽ nhất

Phản biện công bằng nhất là việc từ chối ASI đồng nghĩa với việc từ chối các phương thuốc chữa bệnh và sự thịnh vượng. Các hệ thống hẹp đã mang lại lợi ích khoa học lớn mà không cần đến trí óc tổng quát có chủ quyền. Lập luận ngụy biện là chỉ ASI mới mang lại thuốc men và năng lượng. Bằng chứng không nói vậy.