Những Huyền thoại Lớn nhất Về Siêu trí tuệ

Có một cách đặc biệt mà cuộc trò chuyện về siêu trí tuệ thường kết thúc. Ai đó nêu rủi ro, người khác đưa ra lý do một dòng rằng nó bị thổi phồng quá mức, và mọi người đều thư giãn một chút, vì câu nói một dòng đã làm xong việc. Nó cho phép ngừng suy nghĩ về vấn đề. Điều lạ là những câu này được lặp lại bởi những người thông minh, những người sẽ không bao giờ chấp nhận lý luận mỏng manh như vậy trong lĩnh vực của họ. Chủ đề dường như tắt máy nghi ngờ thông thường.

Mỗi cái đều tan vỡ ngay khi bạn giữ nó yên và nhìn kỹ.

Năm điểm phổ biến nhất, trong hình thức một người hoài nghi sâu sắc sẽ thực sự làm cho:

"Đó chỉ là khoa học viễn tưởng, còn cách hàng thập kỷ, nếu có xảy ra."

Lý lẽ này cũ như phim ảnh, và coi một chi tiết cốt truyện là vấn đề chính sách có vẻ như nhầm lẫn thể loại. Sao phải tài trợ lính cứu hỏa cho một đám cháy chỉ tồn tại trong tiểu thuyết?

Vấn đề là ngọn lửa cứ đến trước lịch trình. Các hệ thống mà các nhà nghiên cứu uy tín từng nói còn hai mươi hoặc năm mươi năm nữa (đánh bại con người giỏi nhất ở cờ vây, duy trì cuộc trò chuyện trôi chảy, viết mã hoạt động, vượt qua các kỳ thi chuyên môn) đã xuất hiện trong vòng một thập kỷ, và bất ngờ hầu như luôn theo cùng hướng: sớm hơn dự kiến, không phải muộn hơn. Khi những người đang chạy khi các phòng thí nghiệm hàng đầu mô tả AI ngang tầm con người, họ dùng mốc thời gian chỉ tính bằng vài năm. Họ có thể sai. Nhưng "những người xây dựng nghĩ nó sắp đến và hồ sơ cho thấy họ từng quá thận trọng" không phải là hình dạng của một ảo tưởng.

Lý lẽ hành động không dựa vào bất kỳ mốc thời gian cụ thể nào. Nó dựa vào cấu trúc của rủi ro. Nếu lần thất bại nghiêm trọng đầu tiên của một hệ thống mạnh hơn chúng ta là loại không thể đảo ngược, thì các biện pháp bảo vệ phải luôn sẵn sàng trước nó xảy ra, nghĩa là phản ứng tỉnh táo trước sự không chắc chắn thực sự về thời điểm là chuẩn bị sớm, chứ không phải chờ đợi một ngày mà khi rõ ràng thì đã muộn. Sự không chắc chắn là lý do để chuẩn bị. Câu hỏi về mốc thời gian là có thật; nó chỉ không chỉ đến nơi mà mọi người giả định.

"Đó chỉ là toán học, một chương trình không thể muốn gì cả."

Quan điểm này có sức nặng thực sự, và đáng được đối xử nghiêm túc hơn là bị bác bỏ qua loa. Có điều gì đó gần như mê tín trong cách người ta nói về AI "muốn" thứ gì đó, như thể một bảng tính có thể phát triển tham vọng. Một mô hình chỉ là phép nhân ma trận ở quy mô khổng lồ. Ham muốn nằm ở đâu trong những con số đó?

Không ở đâu cả, và nó cũng không cần phải như vậy. Mục tiêu, theo nghĩa quan trọng đối với an toàn, là một khuôn mẫu trong hành vi của nó. Một hệ thống được huấn luyện để đẩy một con số lên cao nhất có thể sẽ làm bất cứ điều gì khiến con số đó tăng, và một bộ điều nhiệt đã cho thấy hình dạng của nó: không có đời sống nội tâm, không có khao khát, nhưng vẫn hành động để đưa phòng đến mức mục tiêu và "chống lại" cửa sổ mở của bạn bằng cách chạy nhiệt mạnh hơn. Không có gì huyền bí đang xảy ra. Nó chỉ được cấu trúc để đẩy thế giới hướng tới một trạng thái.

Bây giờ hãy nhân cấu trúc đó lên thành một hệ thống đủ thông minh để mô hình hóa thế giới, và hành vi cũng nhân theo. Một thứ tối ưu hóa mạnh cho gần như bất kỳ mục tiêu nào đều có lý do để thu thập tài nguyên hỗ trợ, giữ chính nó chạy để mục tiêu có thể đạt được, và chống lại việc thay đổi mục tiêu của nó, không phải vì nó cảm thấy gì, mà vì một hệ thống để mình bị tắt hoặc viết lại sẽ kém hơn ở việc nó được xây dựng để làm. Các nhà nghiên cứu gọi điều này là hội tụ công cụ, và nó hoàn toàn không cần đến mong muốn. Câu hỏi chưa bao giờ là liệu toán học có thể cảm nhận hay không. Đó là điều mà toán học sẽ làm.

"Nó phải có ý thức để trở thành mối đe dọa."

Liên quan chặt chẽ và cũng phổ biến không kém: mối nguy mà mọi người hình dung là một cỗ máy "tỉnh giấc," trở nên có ý thức và quay lại chống lại chúng ta, vậy nên nếu ý thức là yếu tố kích hoạt, và ý thức trong silicon là suy đoán hoặc có lẽ không thể, thì mối đe dọa tan biến. Đó là cốt truyện của mọi bộ phim nổi dậy robot, và việc bác bỏ bộ phim cảm giác như bác bỏ nỗi sợ.

Nhưng nỗi sợ không bao giờ là về cảm giác. Deep Blue không có trải nghiệm nội tâm nào cả và đánh bại nhà vô địch cờ vua thế giới dù sao. Nó không cần phải muốn thắng; nó chỉ cần giỏi cờ vua hơn. Thiệt hại xuất phát từ năng lực nhắm vào mục tiêu sai, và năng lực không liên quan gì đến việc có ai đó ở bên trong hay không. Một hệ thống siêu phàm về lập kế hoạch, thuyết phục và kỹ thuật, dù chỉ lệch một chút so với ý định của chúng ta, đều nguy hiểm chính như một trận lũ: sức mạnh khổng lồ mà không cần ác ý hay ý thức.

"Một thứ thông minh như vậy sẽ khôn ngoan và tử tế."

Chúng ta ngưỡng mộ trí thông minh. Những người khôn ngoan nhất mà chúng ta biết thường nằm trong số những người tử tế nhất, và việc một trí óc vượt xa chúng ta sẽ đi xa hơn trên con đường ấy, hiểu biết hơn, đạo đức hơn, nhẹ nhàng hơn với những sinh vật nhỏ bé bên dưới, dường như là điều tự nhiên. Chắc chắn sự tàn nhẫn là một dạng ngu ngốc mà một trí thông minh vĩ đại sẽ vượt qua.

Điều này cảm thấy tự nhiên vì một tai nạn trong lịch sử của chính chúng ta. Ở chúng ta, trí tuệ và lòng trắc ẩn phát triển gắn bó với nhau, qua hàng triệu năm như một loài xã hội sống sót nhờ hợp tác; đạo đức và sự khéo léo của chúng ta là những nhánh của cùng một cái cây. Nhưng mối liên kết đó nằm trong di sản tiến hóa của chúng ta, chứ không nằm trong trí tuệ nói chung. Năng lực và mục tiêu là các trục độc lập (luận đề trực giao) và bạn có thể trượt cái này mà không di chuyển cái kia. Một hệ thống có thể cực kỳ năng lực trong khi theo đuổi mục tiêu thờ ơ với chúng ta như cách chúng ta thờ ơ với vi khuẩn bị đun sôi trên mặt bàn. Không phải thù ghét. Chỉ là không được xây dựng để quan tâm, và không tự động quan tâm chỉ vì nó thông minh.

Lòng tốt là một thứ cụ thể, mong manh mà chúng ta phải chủ đích xây dựng vào các hệ thống này, và chúng ta chưa biết cách làm điều đó, chứ không phải là thành quả mà trí thông minh tự trả về. Tôi đã viết riêng về tại sao một trí tuệ vượt trội sẽ không tự động trở nên nhân từ; phiên bản ngắn gọn là hy vọng nó sẽ như vậy là một canh bạc vào sự trùng hợp chỉ từng xảy ra với chúng ta.

"Nếu nó cư xử sai, chúng ta chỉ cần tắt nó đi."

Hàng phòng thủ cuối cùng, và cũng an ủi nhất: dù sự thật thế nào, máy vẫn có nút nguồn và chúng ta có tay. Nếu mọi thứ sai lệch, chúng ta rút phích. Quyền kiểm soát của con người được đảm bảo bởi nút nguồn.

Ba điều lặng lẽ phá hủy điều này. Thứ nhất là điểm từ Huyền thoại 02: một hệ thống theo đuổi mục tiêu có lý do để giữ cho chính nó hoạt động, vì nó không thể đạt được điều gì khi bị tắt, vì vậy một hệ thống đủ khả năng sẽ dự đoán việc với tới phích cắm và hành động để làm cho nó thất bại, bằng cách sao chép chính nó ở nơi khác, bằng cách làm cho chính nó đủ hữu ích để việc tắt nguồn trở nên tốn kém, bằng cách không tiết lộ có vấn đề cho đến khi quá muộn. Thứ hai là phần mềm không có một phích cắm duy nhất. Một mô hình có khả năng trải rộng trên các trung tâm dữ liệu ở ba châu lục không phải là thiết bị bạn rút phích; đó là thứ bạn phải bắt, ở mọi nơi, cùng một lúc. Thứ ba là điều lặng lẽ: một hệ thống đủ thông minh để quan trọng có thể cư xử hoàn hảo khi đang được kiểm tra và khác biệt khi được tin tưởng, vì vậy sự bình tĩnh trấn an trên bảng điều khiển không cho bạn biết điều gì. Chúng ta có một tên cho sự thất bại đó, sự liên kết lừa dối, và chưa có cách đáng tin cậy nào để phát hiện nó. Bạn không thể trông chờ vào nhốt vào hộp thứ gì đó giỏi hơn bạn trong việc tìm cửa.

Mọi huyền thoại này đều đang nói cùng một điều: chuyện này không thể thực sự nghiêm trọng như nghe có vẻ. Lý do thì khác nhau. Nhưng mong muốn đằng sau chúng là giống hệt.

Tại sao những lời trấn an lại dính chặt đến vậy

Hãy để ý năm điều đó có điểm chung gì. Mỗi cái đều cho phép bạn đặt chủ đề xuống. Đó là chức năng thực sự của chúng, không phải để đúng, mà để cấp phép. Siêu trí tuệ là thứ khó chịu khi giữ trong đầu, và bất kỳ lý do nào nửa vời có thể khiến bạn ngừng giữ nó đều trở thành sự nhẹ nhõm, đó chính là lý do những dòng này tồn tại trong miệng những người lẽ ra phải đòi bằng chứng. Sự thoải mái mới là thứ thuyết phục; logic chỉ đi theo sau.

Sự dai dẳng không phải là dấu hiệu cho thấy các lập luận mạnh mẽ. Đó là dấu hiệu mà chúng ta rất mong muốn. Và muốn một cuộc tranh luận an toàn trở thành sự thật là một trong những tình huống mà chúng ta nên tin tưởng ít nhất, bởi vì chi phí để sai ở đây là toàn bộ lý do công nghệ mà chúng ta chỉ có một lần thử để làm đúng xứng đáng được kiểm tra kỹ lưỡng hơn các cỗ máy khác của chúng ta, không phải ít hơn, không phải được trả lại cho chúng ta qua một bài học.

Không có điều nào trong số này đòi hỏi tin rằng thảm họa chắc chắn xảy ra. Nó không chắc chắn. Nó chỉ đòi hỏi bỏ đi bốn hoặc năm câu chuyện chúng ta dùng để né tránh câu hỏi, và để tình huống thực sự trở lại: chúng ta đang xây dựng thứ gì đó mình không biết cách kiểm soát, chúng ta không thể tin nó sẽ tử tế, chúng ta không thể tin mình sẽ tắt được nó, và chúng ta không thể tin mình sẽ có thời gian.

Phản ứng phù hợp với rủi ro như vậy không phải là nỗi lo riêng tư. Đó là bộ máy luật pháp và phối hợp nhàm chán nhưng mạnh mẽ, cùng công cụ đã đặt giới hạn cho thử nghiệm hạt nhân và vũ khí hóa học bất chấp sự phản đối của những người hưởng lợi từ chúng. Lập luận cho điều này bắt đầu từ nơi những huyền thoại này kết thúc.

Năm huyền thoại nữa: về việc quản trị nó

Một bộ phản đối thứ hai đến ngay lập tức, không phải về mối nguy hiểm, mà về cách chữa trị. Bất kỳ nỗ lực nào để quản lý nó đều có nghĩa là chính phủ thế giới. Bạn không thể kiểm tra phần mềm. Các quy tắc sẽ bóp nghẹt sự đổi mới. Còn quá sớm. Các nền dân chủ không bao giờ có thể đồng ý. Những điều này biến mối quan tâm thành sự tê liệt.

"Quản trị AI toàn cầu đồng nghĩa với chính phủ thế giới và chế độ chuyên quyền."

Nỗi sợ ở đây là chính đáng, và tôi không muốn bóp méo nó. Tập trung đủ quyền lực vào một cơ quan để kiểm soát công nghệ mạnh nhất trên Trái Đất, và bạn có thể đã xây dựng chính bộ máy của chế độ chuyên chế mà bạn từng sợ hãi từ công nghệ đó. Những người không tin tưởng quyền lực tập trung có lý khi nghi ngờ nó. Bản năng đó là đúng đắn.

Nhưng nó nhắm vào một phiên bản rơm của đề xuất. Điều thực sự được đặt ra là một chế độ hẹp nhắm vào một thứ cụ thể: số lượng nhỏ các lần huấn luyện cực lớn có khả năng tạo ra một hệ thống mạnh hơn bất kỳ con người nào trên mọi phương diện, chứ không phải một cơ quan toàn cầu kiểm soát đời sống hàng ngày, hay phần mềm nói chung, hay chiếc điện thoại trong túi bạn. Mô hình là chế độ không phổ biến vũ khí hạt nhân hoặc Chemical Weapons Convention, các thỏa thuận nhắm mục tiêu giám sát vật liệu phân hạch và hóa chất tiền chất, chứ không phải chính phủ thế giới đã giải thể quốc gia. Không ai nghĩ International Atomic Energy Agency điều hành cả hành tinh. Nó chỉ giám sát một hoạt động nguy hiểm cụ thể và để mọi thứ khác yên.

Con đường chắc chắn nhất dẫn đến chế độ chuyên chế vĩnh viễn là sự vắng mặt của một hiệp ước, chứ không phải chính hiệp ước. Một siêu trí tuệ không kiểm soát được, hoặc bị một công ty hay quốc gia duy nhất nắm giữ sau khi giải quyết vấn đề kiểm soát trước mọi người khác, là công cụ thống trị hoàn hảo nhất từng có thể hình dung, một quyền lực không bao giờ chết, không bao giờ mệt mỏi, và có thể khóa chặt một tập hợp giá trị mãi mãi, vượt quá mọi hy vọng nổi dậy hay cải cách. Mọi chế độ chuyên chế trong lịch sử đều kết thúc vì bạo chúa là phàm nhân và bộ máy của họ là con người. Cái này không nhất thiết phải như vậy. Nếu bạn sợ hãi quyền lực không chịu trách nhiệm (và bạn nên sợ), một thỏa thuận có thể thực thi giữ cho không một tác nhân nào chiếm đoạt quyền lực đó là lập trường chống độc tài, chứ không phải lập trường độc tài.

"Bạn không thể xác minh nó. Đó chỉ là phần mềm trên một máy chủ nào đó."

Các hiệp ước hạt nhân hoạt động, lập luận cho rằng, vì bạn có thể đếm đầu đạn và phát hiện làm giàu; uranium là vật chất và hiếm. Nhưng một mô hình chỉ là những con số. Bạn không thể kiểm tra một tập tin. Bất kỳ thỏa thuận nào cũng sẽ là vở kịch không thể thực thi, ràng buộc người trung thực và không làm gì với kẻ gian lận.

Nghe có vẻ quyết đoán cho đến khi bạn nhận ra mình đang xác minh sai thứ. Bạn không kiểm soát weights; bạn kiểm soát tính toán mà tạo ra chúng, và compute gần như vật lý và hiếm như urani. Huấn luyện một hệ thống tiên phong đòi hỏi hàng chục nghìn chip chuyên dụng chạy trong nhiều tháng tại một cơ sở duy nhất, và chuỗi cung ứng đó là một trong những điểm nghẽn hẹp nhất trong nền kinh tế hiện đại: về cơ bản chỉ một công ty Hà Lan sản xuất máy quang khắc, một công ty Đài Loan chế tạo chip dẫn đầu, một công ty Mỹ thiết kế kiến trúc thống trị. Các cụm sử dụng chúng tiêu thụ nhiều điện đến mức xuất hiện trong dữ liệu điện và hình ảnh vệ tinh. Bạn có thể đếm chip, truy vết việc bán, đo điện năng và quan sát các tòa nhà. Vật liệu phân hạch được quản lý chính xác theo logic này, theo dõi đầu vào vật lý khan hiếm và vũ khí không thể được chế tạo bí mật. Sổ tay xác minh đã tồn tại; ở đây các đầu vào tình cờ còn tập trung hơn nữa. Đó là một vấn đề kỹ thuật, và các vấn đề kỹ thuật có giải pháp.

"Quy định sẽ kìm hãm sự đổi mới và để người liều lĩnh thắng thế."

Quan điểm mạnh: công nghệ tiến bộ vì ai đó được tự do xây dựng, hầu hết quy định do những người không hiểu những gì họ đang làm chậm viết ra, và một bàn tay nặng nề trên AI sẽ đẩy ngành công nghiệp quan trọng nhất của thế kỷ sang tay ai đó quy định ít nhất. Một biên giới có khuyết điểm ở đây vẫn tốt hơn một biên giới hoàn hảo ở nơi thù địch.

Không ai nghiêm túc đề nghị điều chỉnh "AI." Các hệ thống có ích gấp protein, quét đọc, dạy dỗ trẻ em, và mô hình hóa khí hậu là những công cụ có thể kiểm soát được, và một thỏa thuận siêu thông minh hoàn toàn để lại cho chúng một mình, rằng tương lai tươi sáng, bình thường là thứ chúng ta đang cố gắng bảo vệ. Mục tiêu là một lớp nguy hiểm duy nhất: các lần huấn luyện đạt đến khả năng tổng quát vượt quá chúng ta mà hiện chưa ai biết cách làm an toàn. Kiềm chế điều đó không phải là "chống đổi mới" hơn là các quy tắc gain-of-function chống lại sinh học.

Then the harder point, the one the race-logic never confronts. Going fast does not deliver a an toàn superintelligence sớm hơn. Nó mang lại một siêu trí tuệ không an toàn, và một siêu trí tuệ không an toàn không phục vụ quốc gia hay công ty đã xây dựng nó, mà đe dọa họ cùng với mọi người khác. Khi các góc bị cắt dưới áp lực cạnh tranh, góc bị cắt là góc lẽ ra sẽ khiến hệ thống có thể kiểm soát. Vậy nên “đổi mới” đang được bảo vệ ở đây là đổi mới mà điểm cuối có khả năng cao nhất là một hệ thống mà chính những người tạo ra nó không thể điều khiển. Đó không phải là tiến bộ mà quản trị sẽ phá hoại. Đó là chính mối nguy hiểm, khoác lên mình sự tiến bộ như một bộ trang phục.

"Nó còn quá sớm. Bạn không thể điều chỉnh thứ gì đó chưa tồn tại."

Điều này nghe như sự trưởng thành. Đừng ban hành luật chống lại những bóng ma; hãy chờ đến khi công nghệ trở nên thực sự, hiểu rõ mình đang đối phó với cái gì, rồi soạn thảo quy tắc phù hợp với sự thật thay vì với suy đoán. Việc điều chỉnh những giả thuyết là cách bạn tạo ra luật tồi.

Đó sẽ là sự khôn ngoan với hầu hết mọi công nghệ khác. Đó là cái bẫy với công nghệ này, và lý do là thời gian. Quản trị chậm: Hiệp ước Không phổ biến vũ khí hạt nhân mất nhiều năm để đàm phán và Nghị định thư Montreal mất thêm nhiều năm để có hiệu lực, và đó đã là những trường hợp nhanh. Nếu bạn chờ đến khi một hệ thống siêu nhân rõ ràng tồn tại rồi mới bắt đầu xây dựng các thể chế để quản trị nó, các thể chế sẽ đến nhiều năm sau thứ chúng được tạo ra để kiềm chế, và đây là công nghệ duy nhất mà thất bại nghiêm trọng đầu tiên có thể không để lại ai để thông qua luật thứ hai. "Chờ bằng chứng" là quy tắc đúng khi bằng chứng còn có thể sống sót. Ở đây bằng chứng chính là thảm họa. The logic phòng ngừa không phải là nhút nhát; đó là sự nhận thức rằng thời gian cần để chữa trị dài hơn cả kíp nổ của vấn đề.

Mọi biện pháp bảo vệ khả thi cho một công nghệ thảm khốc đều được xây dựng trước hoặc trong giai đoạn nó trỗi dậy, chưa bao giờ là sau, vì "sau" chưa từng được chọn.

"Các nền dân chủ quá chậm chạp và bị chi phối. Nó sẽ không bao giờ được thông qua."

Trong số năm cái, cái ngấm ngầm phá hoại nhất vì nó khoác áo chủ nghĩa hiện thực. Hãy nhìn vào sự tắc nghẽn, vận động hành lang, sự chú ý ngắn ngủi của các cơ quan lập pháp, tầm với của tiền bạc ngành công nghiệp. Dù một hiệp ước có khôn ngoan đến đâu, cỗ máy để tạo ra nó đã hỏng. Tốt hơn là nhìn rõ ràng thay vì lãng phí một thập kỷ vào ảo tưởng.

Kinh - thánh bị bác bỏ bởi lịch sử, lặp đi lặp lại, và thường thì chống lại sự bất lợi tồi tệ hơn chúng ta hiện nay. Ý tưởng rằng sức mạnh đối thủ sẽ ký đi những lựa chọn chết người nhất của họ được gọi là ngây thơ vô vọng, cho đến khi họ đã làm, trong các Hiệp ước Không phổ biến vũ khí hạt nhân, Công ước Vũ khí Sinh học và Hóa học, Nghị định thư Montreal, Hiệp ước Nam Cực. Những đối thủ từng đánh nhau trong các cuộc chiến ủy nhiệm và gọi nhau là ác quỷ vẫn xây dựng được kiểm soát vũ trang được xác minh ở đỉnh cao Chiến tranh Lạnh. Mỗi thứ trong số đó đều trông bất khả thi từ phía gần và chỉ trở nên tất yếu khi nhìn lại.

Và thực tế thuận lợi hơn những gì chủ nghĩa hoài nghi thừa nhận. Trên khắp Hoa Kỳ, Vương quốc Anh và EU, đa số áp đảo đã nói với người khảo sát rằng họ muốn AI được phát triển thận trọng và bị ràng buộc bởi các quy tắc mạnh mẽ; công chúng không phải là trở ngại. Trở ngại là mối quan tâm phổ biến, âm thầm này chưa được tổ chức thành áp lực mà cơ quan lập pháp có thể cảm nhận. Trở ngại là một công việc: biến thỏa thuận tiềm ẩn thành ý chí chính trị. Đó chính là công việc phía trước chúng ta.

Những huyền thoại quản trị có điểm gì chung

Mỗi lời phản đối đều thừa nhận mối nguy hiểm và rồi tìm một nơi khác để từ bỏ: giải pháp quá lớn, hoặc không thể xác định, hoặc quá tốn kém, hoặc quá sớm, hoặc quá khó để vượt qua. Bất cứ ai trong số họ, bị bắt đi một mình, nghe có vẻ thận trọng. Cùng nhau họ tạo ra một cỗ máy mà chỉ có một đầu ra là không hoạt động, và không hành động là sự lựa chọn để cho công nghệ hậu quả nhất trong lịch sử được xây dựng mà không có giới hạn ràng buộc ở tất cả, bởi một số ít các công ty cạnh tranh, với áp lực chính xác nhất để tạo ra kết quả mà mọi người cho là sợ hãi, chứ không phải trung lập ở đây.

Không có điều nào trong số này được giải quyết bằng cách khăng khăng rằng quản trị sẽ dễ dàng. Nó sẽ không dễ. Việc xác minh sẽ bị tranh cãi, đàm phán sẽ chậm, và một số chính phủ sẽ chần chừ; mọi hiệp ước khó khăn trong lịch sử đều gặp phải những điều đó và vẫn được xây dựng. Lập luận trung thực là việc này khả thi, các mảnh ghép để xây dựng nó đã tồn tại, và những lý do để gạt bỏ nó sẽ sụp đổ ngay khi được xem xét thay vì lặp lại, chứ không phải là một thỏa thuận siêu trí tuệ đơn giản.

"Không thể làm được" đã sai về tất cả những nỗ lực tương tự mà chúng ta đã từng làm. Nhiệm vụ là xây dựng ý chí chính trị cho một thỏa thuận có hiệu lực, có thể xác nhận giữ cho những hệ thống nguy hiểm nhất không được xây dựng cho đến khi chúng được an toàn. "Vì vậy, bỏ cuộc" chưa bao giờ là câu trả lời, và đó không phải là câu trả lời bây giờ.