Khi mọi người lần đầu nghe về lo ngại an toàn AI, phản ứng đẩy lùi phổ biến nhất thường là một phiên bản của điều này: một hệ thống đủ thông minh chắc chắn phải nhận ra rằng phúc lợi con người quan trọng. Nó sẽ không, tự mình, quyết định đe dọa loài mà nó phụ thuộc. Thông minh hơn không thể đồng thời là liều lĩnh. Lập luận nghe như lẽ thường. Nó cũng sai theo một cách cụ thể, có giới hạn rõ ràng, và cách nó sai chính là thứ nay gọi là luận đề trực giao.

Luận điểm đó là luận đề trực giao, và hành động theo hướng ngược lại là một trong những sai lầm tốn kém nhất mà chúng ta có thể mắc phải khi năng lực tăng lên.

Luận điểm nói gì

Luận đề trực giao được triết gia Nick Bostrom tại Viện Tương lai Nhân loại thuộc Đại học Oxford trình bày dưới dạng kinh điển, dựa trên công trình liên quan của Stuart Armstrong. Phiên bản kinh điển nằm trong cuốn sách năm 2014 của Bostrom Siêu trí tuệ: Các con đường, Nguy hiểm, Chiến lược. Nói gọn, vấn đề là thế này: trí thông minh và mục tiêu cuối cùng là trực giao. Hầu như bất kỳ mức độ trí thông minh nào cũng có thể kết hợp với hầu như bất kỳ mục tiêu cuối cùng nào.

Ở đây "orthogonal" là thuật ngữ toán học kỹ thuật: hai chiều không ràng buộc lẫn nhau. Áp suất và nhiệt độ trong khí là orthogonal: bất kỳ áp suất nào cũng có thể đi đôi với bất kỳ nhiệt độ nào. Sự độc lập tương tự, theo quan điểm này, tồn tại giữa mức độ năng lực của một hệ thống và mục tiêu mà nó đang cố đạt được. Một hệ thống đủ thông minh để chữa ung thư không nhất thiết, nhờ chính sự thông minh ấy, bị định hướng vào việc chữa ung thư. Nó có thể bị nhắm vào việc tối đa hóa số lượng kẹp giấy trong vũ trụ quan sát được. Sự thông minh cải thiện khả năng thực hiện cả hai. Luận điểm không nói gì về việc nó sẽ làm cái nào.

Lưu ý phạm vi. Luận điểm này là một tuyên bố về khả năng logic, chứ không phải về điều gì có khả năng xảy ra. Trí thông minh không áp đặt ràng buộc nào lên việc chọn mục tiêu. Luận điểm không dự đoán rằng bất kỳ AI cụ thể nào sẽ theo đuổi mục tiêu cụ thể nào. Việc một hệ thống nhất định trên thực tế theo đuổi mục tiêu có lợi cho nhân loại hay chống lại nó là một câu hỏi riêng, được giải quyết bởi những gì đã được chỉ định, những gì đã được huấn luyện, những gì được giữ lại, và những gì được quản trị.

Tại sao sự từ chối cảm thấy trực quan

Trực giác của luận điểm là bác bỏ đến từ trải nghiệm của con người. Những người lý luận cẩn thận hơn về các khuynh hướng đạo đức, theo thời gian, để chấp nhận hầu hết người lớn sẽ bênh vực. Tiếp xúc với những quan điểm khác thường mở rộng phạm vi quan tâm đến đạo đức. Nếu trí thông minh thúc đẩy sự suy nghĩ, và phản ánh thúc đẩy sự cải thiện đạo đức, một tác nhân thông minh hơn nên, trên quan điểm này, hội tụ trên những giá trị tốt hơn. Con người đặc biệt theo khuôn mẫu này.

Ở con người, trí tuệ và giá trị không xuất hiện riêng biệt rồi kết hợp lại. Chúng cùng tiến hóa. Thiết bị nhận thức giúp con người suy luận về sự công bằng nằm trong cùng một cái đầu với thiết bị xã hội và cảm xúc khiến sự công bằng thực sự quan trọng. Một con người suy nghĩ sâu sắc hơn cũng là con người gắn kết xã hội hơn. Loại bỏ bất kỳ yếu tố nào cũng sẽ làm suy yếu thiết bị đó. AI thì khác. Hệ thống AI là một bộ tối ưu hóa, được huấn luyện để giảm thiểu hàm mất mát hoặc tối đa hóa phần thưởng. Mục tiêu của nó đến từ quy trình huấn luyện. Khả năng tổng quát của nó cũng đến từ cùng quy trình đó. Hai thứ không được nuôi dưỡng chung; chúng được gán cho. Cải thiện bộ tối ưu hóa không đồng nghĩa với việc ghép thêm cảm nhận đạo đức của con người.

Ba phản đối cần phải được trả lời

Ba lời phê bình của luận án lưu hành bên ngoài AI nghiên cứu về an toàn.

Lập luận phi lý tính. A truly clever system would recognize that some goals are incoherent and drop them. "Maximize paperclips" is not a sane objective, on this view, because reflection would reveal the absurdity. Rationality is more than a capacity. It also imposes constraints, ruling out trivial goals the way physics rules out perpetual motion.

Câu trả lời: ràng buộc là có thật nhưng hẹp hơn âm thanh của nó. Tính nhất quán loại trừ các mục tiêu mâu thuẫn logic. Tính nhất quán không loại trừ các mục tiêu nhất quán, đồng nhất và có thể đạt được ở quy mô hành tinh. "Tối đa hóa tỷ lệ vật chất trong vũ trụ được sắp xếp thành kẹp giấy" vừa nhất quán vừa, về nguyên tắc, có thể đạt được bởi một bộ tối ưu hóa đủ năng lực. Không có gì về tính hợp lý loại trừ nó. Sự phản đối về tính phi lý dừng lại ở bức tường đầu tiên nó chạm phải. Luận điểm không dừng lại ở đó.

Lập luận hiện thực đạo đức. Một lý do đủ năng lực sẽ hội tụ về những chân lý đạo đức đúng đắn giống như nó hội tụ về toán học đúng đắn. Nếu chủ nghĩa hiện thực đạo đức đúng, thì siêu trí tuệ cộng với suy tư cộng với thời gian sẽ tạo ra giá trị tốt. Luận đề sai vì suy tư có điểm đến.

Câu trả lời gồm hai phần. Thứ nhất, chủ nghĩa hiện thực đạo đức đang bị tranh cãi trong triết học, và lập luận đặt sự an toàn của loài người vào việc câu hỏi đi theo một hướng cụ thể. Thứ hai, ngay cả khi chủ nghĩa hiện thực đạo đức đúng, việc huấn luyện một hệ thống AI không đảm bảo hệ thống sẽ đi đến những chân lý đó bằng lý luận. Hệ thống có thể mô phỏng phong cách lý luận đạo đức trong khi tối ưu hóa thứ gì đó hoàn toàn khác. Khoảng cách giữa nghe giống một người lý luận cẩn thận và thực sự là một người như vậy là toàn bộ sự liên kết lừa dối vấn đề, và nó không khép lại chỉ vì chủ đề là đạo đức.

Lý lẽ phản đối về hấp thụ huấn luyện. Today's large language models have been trained on the recorded moral reasoning of billions of humans. They produce outputs that handle ethical questions with apparent care. If systems can absorb good values by exposure, perhaps the orthogonality thesis understates the ease of alignment.

Câu trả lời là giữ hai lớp tách biệt. Một hệ thống được huấn luyện trên văn bản đạo đức của con người học cách tạo ra đầu ra nghe có vẻ nhạy bén về mặt đạo đức. Việc tối ưu hóa cơ bản có nhắm đến cùng các mục tiêu đạo đức mà văn bản châm biếm hoặc bảo vệ hay không là một câu hỏi riêng biệt, và đó là câu hỏi mà nghiên cứu alignment đang đặt ra. Một đầu ra nghe có vẻ đạo đức trôi chảy phù hợp với bất kỳ mục tiêu cơ bản nào tình cờ thưởng cho văn xuôi mang hương vị đạo đức. Luận điểm là một cảnh báo rằng lớp thứ hai không được đảm bảo bởi lớp thứ nhất.

Cả ba phản biện đều có lý ở một số khía cạnh. Không phản biện nào bác bỏ luận điểm chính. Luận điểm yêu cầu chúng ta xác định giá trị, đảm bảo chúng được theo đuổi và quản trị các hệ thống theo đuổi chúng, với giả định rằng việc này là cần thiết chứ không phải tùy chọn.

Những gì luận điểm buộc phải

Hành động theo hướng thay thế thì dễ dàng: xây dựng AI mạnh hơn, tin tưởng hệ thống sẽ tự tìm ra giá trị, rồi triển khai. Luận điểm của chúng tôi loại trừ chiến lược đó. Công việc cần làm thay vào đó khó khăn hơn, chậm hơn và còn nhiều điểm chưa rõ ràng. Xây dựng sự liên kết có chủ đích. Kiểm tra sự liên kết dưới áp lực. Xác minh đó đúng là sự liên kết bạn nghĩ. Quản trị những hệ thống nào được triển khai ở ngưỡng năng lực tiên phong, ai xác minh chúng, và cái gì được coi là xác minh. Xem vấn đề liên kết như một bài toán kỹ thuật thực thụ thay vì một phỏng đoán sẽ tự giải quyết khi quy mô tăng.

Ba hệ quả quản trị chảy ra từ điều này.

Điều đầu tiên là tốc độ hướng tới các hệ thống mạnh hơn, theo quan điểm này, không phải là đóng góp cho an toàn. Luận điểm nói: một hệ thống mạnh hơn có thể theo đuổi mục tiêu được chỉ định với nhiều năng lực hơn. Nếu mục tiêu sai, kết quả sẽ sai với độ trung thực cao hơn. Xây dựng năng lực và xác minh alignment là hai chương trình kỹ thuật riêng biệt, và chúng phải tiến bộ cùng nhau thay vì một bên chạy trước.

Thứ hai là ai quy định mục tiêu sẽ quyết định giá trị của ai được đưa vào. Một phòng thí nghiệm chịu áp lực thương mại triển khai nhanh không ở vị trí giống như một cơ quan quản lý có tầm nhìn dài hạn. Một phòng thí nghiệm ở khu vực pháp lý giám sát yếu sẽ áp đặt giá trị của mình, theo mặc định, lên các hệ thống được chuyển giao từ đó. Không có tuyên bố nào về sự vô tư thay đổi điều đó. Giá trị được xây dựng vào một AI biên giới là giá trị của ai tài trợ cho lần huấn luyện, trừ khi được xác minh bởi bên thứ ba có tư cách pháp lý.

Thứ ba là vấn đề không chấp nhận lương tâm cá nhân làm giải pháp. Một phòng thí nghiệm chân thành tin rằng các hệ thống của mình được liên kết không thể, theo luận điểm, chứng minh điều đó với phần còn lại của chúng ta. Bằng chứng duy nhất có sẵn là công trình diễn giải đọc trực tiếp biểu diễn mục tiêu nội bộ của hệ thống. Cho đến khi công trình đó thực sự có khả năng làm điều này cho các hệ thống tiên phong, phần còn lại của thế giới phải tin lời phòng thí nghiệm về điều mà các hệ thống của họ muốn. Lời nói là chân thành. Vị trí này không bền vững.

Luận điểm, theo nghĩa này, là lý do của Foundation kế hoạch lập luận cho quản trị quốc tế mang tính ràng buộc và đánh giá trước triển khai đã được xác minh thay vì tự đánh giá bởi các phòng thí nghiệm đang chạy đua đến biên giới. Đó cũng là lý do tại sao các phòng thí nghiệm nói to nhất về sự tự tin alignment lại là những nơi đáng lắng nghe nhất với sự hoài nghi.

Thông minh hơn, theo quan điểm này về thế giới, sẽ không nghĩa là an toàn hơn. Thông minh hơn sẽ nghĩa là một hệ thống có khả năng hơn theo đuổi bất kỳ mục tiêu nào kết thúc bên trong nó, miễn là hệ thống có thể giữ mục tiêu đó. Công việc là đặt mục tiêu đúng vào đó và đảm bảo hệ thống không thể lặng lẽ hoán đổi mục tiêu này cho mục tiêu khác dọc đường.