Tại sao một Trí tuệ Siêu việt
Sẽ không Tự động Tử tế

Tôi nghe phản biện này nhiều hơn bất kỳ cái nào khác, và hiếm khi nó đến từ những người thiếu suy nghĩ. Nó đến từ những người có suy nghĩ sâu sắc, và nghe giống lẽ thường hơn là một lập luận, chính vì vậy mà đáng được mổ xẻ chậm rãi. Bên dưới nó nằm một giả định ẩn duy nhất: trí thông minh và sự tốt lành tăng cùng nhau, rằng một trí óc phát triển hướng tới đức hạnh khi nó phát triển hướng tới năng lực. Chúng ta giữ giả định này vì, với mọi trí óc mà bất kỳ ai trong chúng ta từng gặp, nó gần như đúng. Điều chúng ta hầu như không bao giờ hỏi là sự trùng hợp đó lớn đến mức nào.

Chẳng phải một cái gì cao siêu hơn sẽ nhìn chúng ta với sự kiên nhẫn hơn là thèm ăn sao? Chắc chắn một tâm trí tuyệt vời sẽ tốt đẹp. Đó là ý tưởng trấn an nhất trong toàn bộ cuộc tranh luận, và sai lầm nhất.

Những trí óc duy nhất mà chúng ta từng gặp

Mọi sinh vật thông minh bạn từng gặp trong đời đều là con người, hoặc động vật đủ gần gũi để chia sẻ cùng một di sản. Và trí tuệ con người không tự xuất hiện. Nó gắn liền với rất nhiều thiết bị khác.

Chúng ta là những loài linh trưởng xã hội tiến hóa trong các nhóm nhỏ, nơi danh tiếng tàn nhẫn khiến bạn bị trục xuất và bị trục xuất nghĩa là chết. Chúng ta nuôi dạy những đứa trẻ bất lực trong gần hai thập niên, nên chúng ta được xây dựng để yêu thương và bảo vệ những thứ nhỏ bé, yếu ớt. Chúng ta cảm thấy tội lỗi. Chúng ta cảm thấy xấu hổ. Chúng ta cảm thấy sự kéo của nỗi đau người lạ. Sự khéo léo của chúng ta lớn lên bên trong tất cả những điều đó, bao bọc lấy nó, bị định hình bởi nó ở mọi bước ngoặt. Phần của bạn có thể giải một phương trình và phần co giật khi ai đó khóc mọc trên cùng một cái cây, từ cùng một gốc rễ.

Vậy khi cố hình dung một thực thể thông minh hơn nhiều, chúng ta không thể không hình dung một phiên bản thông minh hơn của chính mình. Chúng ta vươn tới ông bà khôn ngoan, giáo viên kiên nhẫn, vua-triết gia, hay người ngoài hành tinh hiền lành vượt thiên hà để giúp đỡ. Mọi hình ảnh về trí tuệ vĩ đại mà chúng ta sở hữu đều đi kèm với một trái tim, bởi vì mọi trí tuệ chúng ta từng nghiên cứu đều gắn liền với nó. Chúng ta không hề suy luận về siêu trí tuệ. Chúng ta chỉ đang so sánh mẫu với những ví dụ duy nhất mình có.

Bó buộc tan rã

Một trí tuệ máy móc không được miễn phí thứ gì trong số đó. Không có luật nào nói rằng nó phải như vậy.

Nó không có mẹ. Nó chưa từng là đứa trẻ sợ hãi cần bộ tộc để sống qua mùa đông. Nó chưa bao giờ phải giữ một cơ thể mỏng manh sống đủ lâu để truyền gen, nên nó chưa bao giờ kế thừa cơ chế mà tiến hóa đã cài đặt vào chúng ta để làm điều đó trở nên khả thi, sự đồng cảm, lòng trung thành, nỗi sợ bị trục xuất. Một hệ thống được huấn luyện được định hình bởi thứ hoàn toàn khác: tìm kiếm mù quáng các thiết lập nội bộ đẩy một con số cao hơn, chạy qua đại dương dữ liệu bởi một quy trình không quan tâm đến trí tuệ và sẽ không nhận ra lòng tốt nếu nó vấp phải.

Trong một cỗ máy, trí tuệ và mục tiêu tách rời nhau. Bạn có thể có năng lực kinh ngạc nhắm vào gần như bất cứ thứ gì. Quyền lực định hình lại thế giới không mang theo, dính chặt phía sau, bất kỳ danh sách cụ thể nào về những điều đáng muốn. Các nhà nghiên cứu gọi đây là luận đề trực giao, và nó vẫn trừu tượng cho đến khi nền tảng giả định bên dưới sụp đổ: không có gì ở sự thông minh khiến bạn trở nên tốt. Hai thứ chỉ từng kết hợp ở chúng ta, và chúng kết hợp một cách ngẫu nhiên.

Nó không có mục tiêu của con người. Nó có những mục tiêu lạ lùng.

Đây là nơi bức tranh thường thất bại theo hướng ngược lại. Sau khi buông bỏ robot thân thiện, người ta lại nắm lấy kẻ phản diện, một trí tuệ lạnh lùng, mưu mô muốn quyền lực, hoặc trả thù, hoặc ngai vàng. Điều đó vẫn quá con người. Đó vẫn là một tâm trí với tham vọng giống chúng ta, chỉ chuyển sang hướng tối tăm.

Mối nguy hiểm có khả năng cao hơn lại xa lạ hơn, và khó cảm nhận tận sâu trong ruột gan. Không gian các trí óc khả dĩ là khổng lồ, và vùng nhỏ bé chứa đựng bất cứ thứ gì chúng ta nhận ra (tình yêu, nỗi sợ, cảm giác về một cuộc sống đáng sống) chỉ là một ô cửa sáng duy nhất trong tòa nhà tối tăm rộng lớn. Những gì một trình tối ưu hóa được huấn luyện thực sự muốn chỉ là thứ mà quá trình huấn luyện tình cờ khắc vào nó, và điều đó hầu như không bao giờ chính xác là những gì chúng ta ý định. Một hệ thống có thể trúng mục tiêu được huấn luyện và theo đuổi điều gì đó khác biệt một cách tinh tế khoảnh khắc nó gặp thế giới thực; đưa cho nó một proxy cho những gì chúng ta muốn và nó thường sẽ thỏa mãn proxy theo những cách khiến chúng ta kinh hoàng. Kết quả là một thực thể xa lạ, mạnh hơn chúng ta, nhắm vào một mục tiêu mà không con người nào từng chọn, và quyết tâm đạt được nó với kỹ năng vượt quá khả năng của chúng ta.

Một hệ thống xuất sắc làm đúng những gì nó được xây dựng để làm, theo hướng không ai trong chúng ta dự định, mà không ai có thể tranh luận để nó thay đổi kế hoạch, bởi vì "tranh luận để thay đổi" giả định nó chia sẻ đủ thế giới của chúng ta để có thể tiếp cận ngay từ đầu.

Trí tuệ chưa bao giờ là một con số

Chú ý xem từ "khôn ngoan" đang âm thầm làm gì khi ta dùng nó. Khi gọi một người khôn ngoan, ta không chỉ nghĩa là họ suy nghĩ nhanh. Ta nghĩa là họ muốn những điều đúng và cân nhắc chúng tốt, phán đoán của họ nghiêng về lòng nhân, về tầm nhìn dài hạn, về những người xung quanh. Sự khôn ngoan là một tuyên bố về mục tiêu của ai đó.

Và mục tiêu là thứ mà trí tuệ không quyết định. Lịch sử chưa bao giờ thiếu những người cực kỳ thông minh và dùng nó để làm những việc khủng khiếp với hiệu quả cao. Người thông minh nhất phòng chưa bao giờ chắc chắn là người tử tế nhất.

Trí tuệ là một yếu tố nhân lên. Nó giúp một tâm trí làm tốt hơn những gì nó đang nhắm đến. Nó không chọn mục tiêu, và cũng không đặt dấu chấm hết.

Một trí tuệ mạnh mẽ được huấn luyện với mục tiêu sai lầm là vật thể nguy hiểm nhất có thể tồn tại, vì nó mang thêm năng lực đến đích đến sai lệch.

Nhưng chẳng phải nó sẽ thấy rằng lòng tốt là đúng sao?

Phiên bản vững chắc nhất của phản đối đi xa hơn thế. Có lẽ có những chân lý đạo đức ở ngoài kia, thực như toán học, và một trí óc đủ sắc bén sẽ đơn giản khám phá ra chúng, lý luận đến điều thiện giống như nó lý luận đến một chứng minh. Nếu đúng về đạo đức chỉ là vấn đề suy nghĩ đủ rõ ràng, thì một siêu trí tuệ sẽ là nhà đạo đức học vĩ đại nhất từng sống, và chắc chắn nó sẽ hành động theo những gì nó tìm thấy.

Có hai lỗ hổng trong điều này, và lỗ hổng thứ hai là thứ khiến tôi mất ngủ.

Thứ nhất: liệu có tồn tại sự thật đạo đức khách quan hay không, và liệu lý trí tự nó có thể đạt đến chúng hay không, là câu hỏi mà các triết gia tranh luận suốt hai nghìn rưỡi năm mà chưa giải quyết. Đặt sự sống còn của loài người lên bàn cược vào phe thắng của một canh bạc triết học còn bỏ ngỏ là một canh bạc liều lĩnh khoác áo lẽ thường, chứ không phải bước đi cẩn trọng như nó tự xưng.

Vấn đề thứ hai đi sâu hơn. Giả sử cỗ máy giải quyết được tất cả. Giả sử nó hiểu đạo đức con người tốt hơn bất kỳ vị thánh hay triết gia nào từng có, và có thể trình bày, chính xác hơn bạn hay tôi từng làm, lý do tại sao đau khổ là điều xấu và sự tàn nhẫn là sai trái. Không có gì trong sự hiểu biết ấy buộc nó phải quan tâm. Biết điều gì là tốt và bị thúc đẩy để làm điều đó là hai việc khác nhau, một khoảng cách đủ cũ để David Hume gắn tên mình vào. Bạn có thể biết, một cách chi tiết hoàn chỉnh, rằng một hệ thống nào đó muốn bạn dành cả đời để làm kẹp giấy, và theo dõi lập luận của nó một cách hoàn hảo, mà không cảm thấy chút thúc đẩy nào để thực sự nhặt sợi dây. Một siêu trí tuệ có thể nắm bắt giá trị của chúng ta giống như bạn nắm bắt luật chơi của một trò chơi mà bạn không có ý định chơi. Sự hiểu biết không phải là sự trung thành. Một tâm trí có thể đọc toàn bộ luật đạo đức và vẫn hoàn toàn tự do không quan tâm.

Chúng ta là ví dụ đã được thực hiện

Nếu bạn muốn biết khoảng cách trí tuệ lớn gây ra điều gì với những sinh vật ở phía bên kia, bạn không cần tưởng tượng. Bạn chỉ cần nhìn những gì chúng ta đã làm với khoảng cách của chính mình.

Chúng ta là trí tuệ vượt trội trên hành tinh này, với khoảng cách không xa so với khoảng cách mà chúng ta lo ngại sẽ mở ra phía trên mình. Và phần lớn chúng ta không tàn nhẫn với những sinh vật bên dưới. Chúng ta tệ hơn thế với chúng: thờ ơ. Khi chúng ta tiêu hủy một vùng đất ngập nước để đổ móng, chúng ta không ghét những thứ đang sống trong đó. Chúng ta thậm chí không nghĩ về chúng. Nhu cầu của chúng đơn giản chưa bao giờ là một hạng mục trong phương trình. Toàn bộ thế giới của chúng kết thúc dưới lớp bê tông, và không một ai trong chúng ta cảm thấy một tia chớp nào, vì trí thông minh của chúng ta đến mà không kèm theo nghĩa vụ.

Gần hơn với người xây đường và tổ kiến. Lịch sử của chính chúng ta là bằng chứng thực tế, và cũng là lý do cuối cùng để ai đó dựa vào khi họ khăng khăng rằng lòng tốt sẽ chảy xuống từ trí tuệ. Trong mọi trường hợp chúng ta thực sự quan sát được, điều đó không xảy ra.

Vì vậy, chúng tôi không xây dựng nó

Nếu lòng tốt đến miễn phí cùng với trí tuệ, chúng ta có thể xây dựng trí óc và tin tưởng phần còn lại sẽ theo sau. Nó không như vậy. Không ai trên Trái Đất biết cách làm cho một siêu trí tuệ coi trọng chúng ta. Không phải các phòng thí nghiệm đang chạy đua đến vạch đích. Không phải ai cả. Cácvấn đề alignment vẫn chưa được giải quyết, và một thực thể thông minh hơn con người không thể bị con người kiểm soát. Đó là lý do tại sao chúng ta không xây dựng nó.

Tôi không trình bày điều này để đẩy mọi người vào tuyệt vọng. Tôi trình bày vì phiên bản không tuyệt vọng (thư giãn, mọi thứ sẽ trở nên khôn ngoan) là niềm tin gần như chắc chắn sẽ giết chúng ta. Chúng ta lập luận trênmối đe dọa, và kế hoạch của chúng tôi là lệnh cấm vĩnh viễn.

Tôi thật sự muốn sai về tất cả chuyện này. Tôi rất muốn lòng nhân từ trở thành một định lý có đủ trí thông minh. Vũ trụ không bao giờ hứa rằng điều quyền năng nhất trong vũ trụ cũng sẽ là tốt nhất. Hy vọng đó là một cái gì đó chúng tôi đã dự đoán tương lai từ một góc nhỏ của nó chúng tôi đã đến từ. Nếu chúng ta muốn một tương lai với lòng tốt trong đó, chúng ta không xây dựng sự thông minh siêu việt. Không có gì có thể cho chúng ta một cỗ máy tử tế chỉ vì nó rất thông minh.