Hạt nhân, Vũ khí sinh học, hay Siêu trí tuệ:
Rủi ro lớn nhất là gì?

Đây là một cuộc vận động không thoải mái, một thảm họa cao cấp. Mỗi người trong số này có thể giết người trên một quy mô làm cho từ "saster" cảm thấy nhỏ, và đặt chúng theo thứ tự có thể nghe giống như một tuyên bố rằng những người thấp hơn không quan trọng. Chiến tranh hạt nhân và các đại dịch được thiết kế là một trong những điều tồi tệ nhất có thể xảy ra cho chúng ta, và những người làm việc để ngăn chặn họ đang làm một số công việc quan trọng nhất.

Xếp hạng chúng một cách trung thực và siêu trí tuệ nhân tạo đứng đầu, không phải vì những cái kia nhỏ bé, mà vì nó là cái duy nhất trong ba cái tự cải thiện, chống lại mọi biện pháp đối phó mà chúng ta đưa ra, và không cho cơ hội thứ hai.

Nhưng sự chú ý và tiền bạc là hữu hạn, và thế giới không phân bổ chúng đều cho mọi mối đe dọa. Ai đó phải quyết định thứ gì nhận được một hiệp ước, một cơ quan, một dòng ngân sách, một phong trào. Nếu những quyết định đó sẽ theo dõi nguy cơ thực sự thay vì nguy cơ chúng ta tình cờ dễ hình dung nhất, thì việc xếp hạng phải được thực hiện, và thực hiện công khai. Vậy: trong số các công nghệ có thể kết liễu nhân loại trong thế kỷ này, công nghệ nào lớn nhất? Câu trả lời là trí tuệ siêu nhân, và khoảng cách không hề nhỏ.

Ý nghĩa "greatest" phải là gì

Rủi ro không chỉ là mức độ tồi tệ của kịch bản xấu nhất. Một thiên thạch có thể hóa hơi hành tinh nhưng chỉ có một phần nghìn tỷ cơ hội xảy ra là rủi ro nhỏ hơn so với ngọn lửa có một nửa cơ hội đốt cháy nhà bạn, dù ngọn lửa không thể kết liễu thế giới. Để so sánh ba thứ này một cách trung thực, bạn phải giữ ba câu hỏi cùng lúc.

Kết quả tồi tệ nhất có thể xảy ra xấu đến mức nào? Xác suất xảy ra kết quả đó trong một khoảng thời gian có ý nghĩa là bao nhiêu? Và (câu hỏi thường bị bỏ qua nhất) nếu mọi thứ bắt đầu sai lệch, liệu chúng ta vẫn có thể dừng lại được không? Câu hỏi cuối cùng quyết định hầu hết mọi thứ ở đây, và chính là nơi ba bên chia rẽ.

Nỗ lực cẩn thận nhất mà ai đó đã thực hiện để gán số cho điều này là của triết gia Toby Ord Vực thẳm, xuất bản năm 2020, ước tính xác suất mỗi rủi ro gây ra thảm họa tồn tại (tuyệt chủng hoặc sụp đổ không thể phục hồi) trong trăm năm tới. Các con số của ông là phán đoán có kỷ luật của người đã dành nhiều năm đọc tài liệu và trao đổi với chuyên gia từng lĩnh vực, chứ không phải đo lường; không ai có thể đo lường thứ chưa từng xảy ra. Đó là dự đoán có cấu trúc tốt nhất chúng ta có, và hình dạng của nó mới là điều quan trọng.

Nguy hiểm	Ước tính của Ord
Chiến tranh hạt nhânThảm khốc gần như không thể tưởng tượng, nhưng (ngay cả trong một cuộc trao đổi toàn diện và mùa đông sau đó) hầu hết ước tính đều dừng lại trước mức tuyệt chủng hoàn toàn của loài người.	~1 trên 1.000
Đại dịch do con người tạo raMột mầm bệnh được cố tình thiết kế để gây chết chóc và lây lan khó kiểm soát hơn nhiều so với bất kỳ dịch bệnh tự nhiên nào, và công cụ để tạo ra nó ngày càng rẻ.	~1 trong 30
Trí tuệ nhân tạo không liên kếtRủi ro lớn nhất trong bảng tính của Ord, lớn hơn mọi hiểm họa tự nhiên và mọi hiểm họa do con người tạo ra khác cộng lại.	~1 trong 10

Chiến tranh hạt nhân, mối nguy đã định hình toàn bộ trí tưởng tượng hiện đại về tận thế, ở mức khoảng một trên một nghìn. Đại dịch do kỹ thuật tạo ra, mối đe dọa mà hầu hết mọi người chỉ thực sự nghĩ đến nghiêm túc từ năm 2020, cao hơn hơn ba mươi lần. Còn AI không liên kết thì cao hơn một bậc so với đó, khoảng một trong mười, và theo tính toán của Ord thì lớn hơn tổng tất cả các rủi ro còn lại trên danh sách. Rủi ro mà chúng ta ít được trang bị nhất để bàn luận lại là rủi ro mà con số của ông xếp hàng đầu với khoảng cách lớn.

Vũ khí hạt nhân: khổng lồ, và gần như đã chạm trần

Bắt đầu từ thứ chúng ta hiểu rõ nhất. Hiện nay có khoảng mười hai nghìn đầu đạn hạt nhân, phần lớn do Hoa Kỳ và Nga nắm giữ. Một cuộc trao đổi toàn diện sẽ giết chết hàng trăm triệu người trong vài giờ đầu tiên và, qua khói bụi cùng sự làm mát mà một nghiên cứu hiện đại trong Nature Food ước tính có thể xảy ra sau đó, đẩy thêm hàng tỷ người vào nguy cơ thiếu đói. Đó là thứ gần nhất với địa ngục mà kỹ thuật con người từng tạo ra.

Tuy nhiên, khi so với tiêu chuẩn hủy diệt nhân loại hoàn toàn, chiến tranh hạt nhân có một đặc tính lạ: nó gần như xấu nhất có thể xảy ra. Kho vũ khí không đang tăng lên hướng tới mức độ hủy diệt mới; chúng đạt đỉnh gần bảy mươi nghìn đầu đạn vào những năm 1980 và đã giảm kể từ đó. Một quả bom không tự chế tạo thêm bom. Nó không học hỏi. Nó không chọn mục tiêu. Mọi thảm họa hạt nhân đều đòi hỏi một con người, ở đâu đó, phải quyết định hoặc thất bại, và chính sự kiện đơn lẻ đó là cái móc mà tám mươi năm ngăn ngừa đã treo vào.

Bởi vì mối nguy hiểm vẫn còn đó, chúng tôi đã có thể xây dựng một giàn giáo xung quanh nó: Hiệp ước phi bảo vệ sự sống, chế độ thử nghiệm, thỏa thuận điều khiển vũ khí được kiểm tra bằng cách kiểm tra, đường dây nóng, hàng thập kỷ của giáo lý khó thắng về việc làm thế nào để không rơi vào sự hủy diệt. giàn giáo không hoàn hảo. Nó là mối nguy hiểm với trần nhà, nhắm vào một mục tiêu không di chuyển, được quản lý bởi một hệ thống mà chúng ta đã dành cả đời xây dựng. Đó là lý do tại sao, với tất cả sự kinh hoàng của nó, nó ngồi ở đáy của cả ba.

Đại dịch được thiết kế: khó kiểm soát hơn, vẫn thụ động

Nâng lên một bậc. Một đại dịch tự nhiên đã đủ tệ, cúm 1918 đã giết khoảng năm mươi triệu người trong một thế giới chưa bằng một phần ba quy mô ngày nay. Nhưng thiên nhiên, theo một nghĩa u ám, không cố gắng. Một mầm bệnh được thiết kế sẽ cố gắng. Lấy thứ gì đó có khả năng lây truyền như sởi và độ chết chóc như sốt xuất huyết, loại bỏ sự đánh đổi mà tiến hóa thường áp đặt giữa hai thứ, và bạn có một vũ khí không có trần tự nhiên như loại giới hạn kho vũ khí.

Đây là lý do Ord xếp đại dịch do kỹ thuật cao hơn chiến tranh hạt nhân hơn ba mươi lần. Công ước Vũ khí Sinh học đã cấm những vũ khí này từ năm 1975, nhưng không giống đối tác hạt nhân, nó không có thanh tra viên và không có răng, còn ngành sinh học nó cố ngăn ngày càng rẻ và dễ tiếp cận hơn mỗi năm. Thảm họa ở đây không cần siêu cường và hàng nghìn đầu đạn. Có thể chỉ cần một phòng thí nghiệm và một người không bao giờ nên có năng lực đó.

Nhưng hãy giữ lấy những gì một mầm bệnh vẫn còn là. Nó thụ động. Kinh khủng, vô tri và thụ động. Một virus không lập kế hoạch. Nó không dự đoán vắc-xin và thiết kế lại chính nó tuần trước khi chúng ta hoàn thành. Nó không suy luận về những người đang săn lùng nó và thực hiện các bước để ẩn náu. Nó lan truyền dọc theo gradient mù mà sinh học trao cho nó, và chống lại điều đó chúng ta có thể mang mọi lợi thế của một loài biết suy nghĩ: giải trình tự, vắc-xin, cách ly, bộ máy y tế công cộng tích lũy. Chúng ta có thể thua cuộc đua. Nhưng đó là cuộc đua chống lại thứ gì đó là toàn bộ khoảng cách giữa bậc thứ hai và bậc thứ nhất, không chạy, chỉ lan truyền.

Siêu trí tuệ: cái chạy ngược lại

Bây giờ đến mục đứng đầu danh sách, và lý do nó ở vị trí đó. Một siêu trí tuệ không phù hợp là một thứ hoàn toàn khác biệt: một tác nhân, không phải một quả bom lớn hơn hay một mầm bệnh khôn ngoan hơn. Nó có mục tiêu, hoặc hành xử chính xác như thể nó có mục tiêu. Nó có thể mô hình hóa những người đang cố kiềm chế nó, dự đoán các bước đi của họ và hành động để đánh bại họ. Mọi mục khác trên trang này đều đứng yên trong khi chúng ta xây dựng phòng thủ. Đây là mục duy nhất quan sát chúng ta xây dựng và tìm cách vượt qua.

Bunker kiên cố nhất thế giới cũng không cứu được bạn khỏi ASI.

Naoto Nakada

Đặt ba điều này đối chiếu với những câu hỏi thực sự quyết định liệu thảm họa có trở thành kết thúc hay không, và bức tranh hiện ra rất rõ nét.

	Hạt nhân	Vũ khí sinh học	Siêu trí tuệ
Nó có thể tự cải thiện không?	Không	Không	Có
Liệu nó có hành động chống lại các biện pháp đối phó của chúng ta không?	Không	Không	Có
Nó có thể nghĩ nhanh hơn những người đang ngăn chặn nó không?	Không	Không	Có
Nó có thể bị thu hồi sau khi đã thả lỏng không?	Một phần	Hầu như không	Không
Liệu chúng ta có học được từ thất bại đầu tiên không?	Thường thì	Đôi khi	Có lẽ không bao giờ

Đọc xuống cột cuối cùng. Vũ khí hạt nhân và mầm bệnh là mối nguy tĩnh mà chúng ta dùng trí tuệ để chống lại. Siêu trí tuệ là mối nguy dùng trí tuệ để chống lại chúng ta, có thể nhiều hơn những gì chúng ta có, nhắm thẳng vào đúng những điểm chúng ta đang cố gắng giữ vững. Nó có thể tự sao chép vượt qua mọi nỗ lực thu hồi, tự cải thiện nhanh hơn chúng ta phản ứng, và cư xử hoàn hảo khi đang được kiểm tra nhưng khác hẳn khi không còn giám sát. Đây là mục duy nhất trong danh sách mà lợi thế lớn nhất của loài người—trí tuệ—không chắc chắn sẽ còn lớn hơn trong căn phòng.

Tôi đã lập luận ở nơi khác rằng điều này được hiểu tốt nhất như là một cơn bão hoàn hảo, không phải chỉ một đặc tính đáng sợ mà là mọi biện pháp bảo vệ thông thường đều sụp đổ cùng lúc. Con số này là một trong mười thay vì một trong nghìn. Với vũ khí hạt nhân và đại dịch, vẫn còn đường thoát: ta có thể thu hồi, có thể học hỏi, có thể nghĩ nhanh hơn mối đe dọa. Với superintelligence thì mọi lối thoát khép lại cùng lúc, và chúng khép lại vì chính thực thể kia đang cố tình đóng chúng.

. Hai cái kia có thể giết phần lớn chúng ta. Cái này là cái có thể kết liễu và, khác với hai cái kia, ngày càng giỏi hơn trong khi chúng ta cố ngăn nó.

Tại sao bảng xếp hạng nên thay đổi những gì bạn làm

Siêu trí tuệ cũng là rủi ro ít được bảo vệ nhất trong ba rủi ro, chứ không chỉ là rủi ro lớn nhất.

Vũ khí hạt nhân có hiệp ước không phổ biến, một cơ quan quốc tế tại Vienna, các chế độ xác minh, và tám mươi năm học thuyết. Vũ khí sinh học có công ước, dù yếu, và một bộ máy y tế công cộng toàn cầu mà đại dịch, dù có mọi thất bại, đã mở rộng. Cả hai đều có một nhóm ủng hộ: những người đã dành cả sự nghiệp cho chúng, các tổ chức được xây dựng xung quanh chúng, một công chúng hiểu được các từ ngữ. Siêu trí tuệ gần như không có gì trong số này. Không có hiệp ước ràng buộc. Không có thanh tra. Không có cơ quan. Không có hình ảnh chung của công chúng về mối đe dọa, và cho đến gần đây, gần như không có phong trào nào.

Sự kết hợp đó (thiệt hại kỳ vọng lớn nhất nằm trên nền phòng thủ hiện có nhỏ nhất) là lý do mạnh mẽ nhất để hành động ở đây thay vì ở nơi khác, chứ không phải lý do để tuyệt vọng. Khi một rủi ro là khổng lồ và đã được làm việc nhiều, nỗ lực bổ sung của bạn cạnh tranh với rất nhiều nỗ lực trước đó và chỉ di chuyển kim một chút. Khi một rủi ro là khổng lồ và gần như chưa được chạm đến, nỗ lực bổ sung của bạn không có gì để cạnh tranh và có thể di chuyển kim rất nhiều. Rủi ro lớn nhất và bị bỏ qua nhiều nhất là nơi một lượng công việc nhất định mang lại lợi ích nhiều nhất, và theo cả hai thước đo thì siêu trí tuệ là rủi ro đó.

Nó càng trở nên phức tạp hơn. Lĩnh vực làm việc trực tiếp về vấn đề này hoạt động với ngân sách eo hẹp, khoảng vài trăm triệu đô la mỗi năm, ít hơn thế giới chi tiêu để làm AI mạnh hơn chỉ trong một ngày. Và hầu hết số tiền đó vẫn dành cho nghiên cứu kỹ thuật về cách align các hệ thống này, một vấn đề chưa ai giải quyết được và có thể không giải quyết kịp. The part that is most neglected of all is the political work: building the binding, verified international agreement that could keep the most dangerous systems from being built until they can be made safe.

Hãy để tôi nói chính xác hơn, bởi vì lập luận này rất dễ để phóng đại và phóng đại là những gì mọi người đạt được khi họ muốn bác bỏ nó. Người ta cho rằng chiến tranh nguyên tử và đại dịch không phải là chuyện nhỏ nhặt; chúng thuộc về những người đứng đầu danh sách những điều mà nhân loại phải chi tiêu để ngăn ngừa. Người ta không cho rằng thảm họa AI là chắc chắn; ước tính trung thực chạy từ một trong mười đến một trong ba, có nghĩa là kết quả tương tự nhất vẫn là chúng ta đi qua.

Lập luận hẹp hơn và khó né tránh hơn. Trong số ít thứ có thể hủy diệt chúng ta, siêu trí tuệ là lớn nhất theo đánh giá tốt nhất hiện có, là thứ duy nhất chủ động chống lại nỗ lực sống sót của chúng ta, và là thứ chúng ta làm ít nhất để quản trị. Gộp ba sự kiện đó lại và bạn có lý do Foundation tồn tại. Chúng tôi không cố làm lại nghiên cứu an toàn kỹ thuật mà các phòng lab đã tài trợ. Chúng tôi đang tập trung hẹp về mảnh ghép bị bỏ quên: luật pháp quốc tế coi rủi ro lớn nhất đúng như bản chất của nó, và đặt giới hạn trước khi xảy ra sai lầm đầu tiên mà chúng ta không thể học hỏi từ đó.

. Xếp hạng thảm họa một cách trung thực và thứ tự ưu tiên sẽ tự nhiên hiện ra. Rủi ro lớn nhất cũng là rủi ro được bảo vệ ít nhất và ít được hiểu nhất.