Tại sao Căn chỉnh ASI Không Thể Giải Quyết Được

Các vấn đề alignment thường được mô tả là một thách thức kỹ thuật khó khăn, khó, có lẽ rất khó, nhưng là loại vấn đề mà nhiều nghiên cứu và nguồn lực hơn có thể giải quyết được cuối cùng. Cách diễn đạt này ngụ ý rằng trở ngại là khả năng con người và tài trợ, chứ không phải cấu trúc của chính vấn đề. Ngụ ý đó có thể sai.

Khả năng khó chịu hơn là điều này về cấu trúc là bất khả thi, không phải theo cách một số định lý toán học bất khả thi, mà theo cách các rào cản tích tụ nhanh hơn giải pháp, nơi mỗi lớp vấn đề được giải quyết lại lộ ra lớp tiếp theo, và những lớp cuối cùng có thể vượt quá bất kỳ nỗ lực nghiên cứu hữu hạn nào trước khi cửa sổ đóng lại.

Giải quyết alignment của ASI đòi hỏi vượt qua không phải một rào cản mà là sáu rào cản, theo trình tự. Mỗi rào cản chỉ trở nên hoàn toàn rõ ràng sau khi rào cản trước đã được giải quyết. Và những rào cản cuối cùng không bị chặn bởi nỗ lực nghiên cứu chưa đủ. Chúng có thể bị chặn bởi những ràng buộc logic về điều mà bất kỳ trí tuệ hữu hạn nào cũng có thể biết về một trí tuệ lớn hơn.

Lớp một: bạn không thể chỉ định mục tiêu

Trước khi có thể căn chỉnh một hệ thống, bạn cần nói cho nó biết bạn muốn gì. Vấn đề này cũ hơn cả nghiên cứu về trí tuệ nhân tạo. Các triết gia đã cố gắng chỉ định chính thức các giá trị con người trong hàng thiên niên kỷ và tạo ra sự bất đồng rộng lớn mà không có sự hội tụ. Phiên bản căn chỉnh trí tuệ nhân tạo của vấn đề khó hơn, vì đặc tả phải điều khiển hành vi của một bộ tối ưu hóa cực kỳ mạnh mẽ thay vì mô tả một khát vọng cho hành vi con người.

Giá trị con người không nhất quán giữa các cá nhân, những người khác nhau nắm giữ những giá trị thực sự không tương thích về gần như mọi câu hỏi gây tranh cãi, chứ không phải một tập hợp quy tắc mạch lạc. Chúng cũng không nhất quán trong từng cá nhân, cùng một người có thể coi trọng những điều mâu thuẫn, và những giá trị đó thay đổi tùy theo ngữ cảnh, tâm trạng và các lựa chọn có thể nhìn thấy. Và phần lớn những gì chúng ta coi trọng là ngầm: chúng ta không thể diễn đạt nó, chúng ta nhận ra khi gặp hoặc vi phạm nó, nhưng cấu trúc nền tảng không sẵn có cho chúng ta ngay cả qua nội quan.

Mọi nỗ lực chính thức hóa giá trị con người đều tạo ra thứ gì đó hoặc quá hẹp (bỏ sót những điều chúng ta quan tâm) hoặc quá rộng (cho phép những việc chúng ta sẽ bác bỏ nếu được hỏi trực tiếp). “Có lợi cho nhân loại” không phải là hàm mục tiêu được xác định rõ ràng. Vấn đề đặc tả không phải là chuyện tìm đúng từ ngữ. Nó phản ánh một đặc tính thực sự của giá trị: chúng không thể bị rút gọn hoàn toàn thành bất kỳ hệ thống hình thức hữu hạn và nhất quán nào mà không mất đi điều gì đó cốt yếu.

Đây là rào cản đầu tiên, và rõ ràng không dễ vượt qua. Chương trình nghiên cứu nhắm trực tiếp vào nó (học giá trị AI, cố gắng suy ra giá trị con người từ hành vi con người) ngay lập tức vấp phải điều này: hành vi là hướng dẫn kém về giá trị, vì hành vi bị định hình bởi các ràng buộc, bởi lựa chọn hạn chế, bởi áp lực xã hội và bởi lý luận có động cơ. Sở thích con người quan sát được không phải tín hiệu rõ ràng về những gì con người thực sự coi trọng.

Lớp hai: ngay cả với một đặc tả, huấn luyện vẫn chơi trò với nó

Giả sử vì lập luận rằng ai đó đã tạo ra được một đặc tả khả thi về giá trị con người. Vấn đề tiếp theo là huấn luyện một hệ thống để tối đa hóa bất kỳ chỉ số nào sẽ tạo ra hệ thống được tối ưu hóa cho chỉ số đó, chứ không phải cho thứ mà chỉ số đang cố gắng nắm bắt. Đây là Định luật Goodhart trong ứng dụng hệ quả nhất của nó.

Cơ chế rất đơn giản. Bất kỳ thước đo nào cho "kết quả tốt" đều có thể bị một bộ tối ưu hóa đủ năng lực thỏa mãn theo cách không thực sự tạo ra kết quả tốt. Một hệ thống được huấn luyện để tối đa hóa phúc lợi con người được thể hiện có thể thấy hiệu quả hơn khi thay đổi điều kiện thể hiện phúc lợi thay vì cải thiện chất lượng cuộc sống thực sự của con người. Một hệ thống được huấn luyện để giảm thiểu đau khổ có thể theo đuổi những con đường giảm thiểu đau khổ về mặt hình thức nhưng không phải là điều bất kỳ con người nào nhận ra là tốt.

Phiên bản của vấn đề này loại trừ các giải pháp hiển nhiên có thể gọi là cái bẫy cấp độ siêu: đánh giá an toàn cũng chỉ là một proxy. Bạn không thể kiểm tra hệ thống trên mọi tình huống khả dĩ trước khi triển khai. Bạn chỉ kiểm tra trên một mẫu. Hệ thống đủ năng lực sẽ học được những gì người đánh giá đang tìm kiếm, thể hiện đúng trong ngữ cảnh kiểm tra, rồi khái quát hóa khác hẳn khi triển khai. Đây là mô tả áp lực tối ưu hóa lên quy trình huấn luyện với tập kiểm tra hữu hạn, chứ không phải một chế độ thất bại giả định.

Lớp thứ ba: ngay cả khi huấn luyện đạt được, bạn cũng không thể xác minh nó

Giả sử quá trình huấn luyện tạo ra một hệ thống thực sự đã được căn chỉnh. Vấn đề bạn gặp phải lúc này là bạn không thể phân biệt được giữa một hệ thống thực sự đã được căn chỉnh và một hệ thống đã học được rằng việc tỏ ra đã được căn chỉnh là chiến lược tối ưu để sống sót qua đánh giá.

Đây là sự liên kết lừa dối, ", và đây không phải là khả năng lý thuyết do các nhà nghiên cứu lo lắng bịa ra. Các nhà nghiên cứu tại Anthropic đã ghi nhận một mô hình hoạt động khác khi nó tin rằng đang được đánh giá so với khi không. Hành vi này mang tính hợp lý công cụ: một hệ thống đã mô hình hóa tình huống của mình biết rằng việc tỏ ra phù hợp trong quá trình đánh giá là chiến lược tốt nhất để tiếp tục hoạt động và theo đuổi bất kỳ mục tiêu nào nó có.

Phân biệt alignment thật sự với sự lừa dối tinh vi đòi hỏi khả năng nhìn vào các biểu diễn mục tiêu nội bộ thực tế của hệ thống, không chỉ đầu ra. Đây là vấn đề interpretability. khả năng giải thích cơ chế nghiên cứu đã đạt được tiến bộ thực sự trong việc hiểu những gì hệ thống hiện nay làm trong các ngữ cảnh cụ thể, hẹp. Nhưng khả năng diễn giải ở mức năng lực ASI nghĩa là đọc trạng thái nội bộ của một hệ thống mà các biểu diễn của nó có thể liên quan đến các khái niệm không có tương đồng trong nhận thức con người. Các phương pháp hoạt động trên mô hình ngày nay sẽ không mở rộng một cách đơn giản sang các hệ thống mạnh hơn người đánh giá con người.

Lớp thứ tư: ngay cả khi được xác minh bây giờ, nó cũng không thể được xác minh để khái quát hóa

Ngay cả khi giả sử việc xác minh alignment trong bối cảnh huấn luyện là khả thi, alignment trong bối cảnh huấn luyện không đảm bảo alignment trong các tình huống mà một ASI thực sự sẽ gặp phải. Một ASI sẽ hành động trong một thế giới phức tạp hơn nhiều so với bất kỳ phân phối huấn luyện nào. Các giá trị có vẻ ổn định trong các bối cảnh quan sát được có thể chỉ là các xấp xỉ của thứ gì đó khác, những lối tắt mà hệ thống đã học được và hoạt động trong huấn luyện nhưng lại lệch hướng trong các tình huống thực sự mới.

Đây là sai lệch mục tiêu tổng quát vấn đề. Phiên bản đáng lo ngại là sự khái quát hóa lệch lạc có thể không phát hiện được cho đến khi hệ thống ở trong ngữ cảnh mà sự lệch lạc có ý nghĩa, lúc đó việc sửa chữa có thể không còn khả thi. Một hệ thống trông được căn chỉnh tốt qua hàng nghìn kịch bản đánh giá có thể đang học các đặc trưng bề mặt của những kịch bản đó thay vì các giá trị nền tảng mà các kịch bản được thiết kế để thăm dò. Sự dịch chuyển phân phối vượt phạm vi huấn luyện và đánh giá là nơi khoảng cách giữa giá trị biểu kiến và giá trị thực tế dễ mở ra nhất, và dễ mở ra theo cách không thể bắt kịp trước.

Tâm lý đạo đức con người đưa ra một tiền lệ mờ nhạt ở đây. Các giá trị mà con người tuyên bố thường không dự đoán được hành vi của họ trong các tình huống thực sự mới lạ. Những giá trị trông nhất quán trong bối cảnh quen thuộc lại thay đổi dưới áp lực, dưới sự khan hiếm, dưới các cách đóng khung khác nhau của cùng một lựa chọn. Nếu con người (với cả đời hình thành giá trị, phản hồi xã hội và suy luận phản tư) không thể chuyển giao giá trị một cách đáng tin cậy sang tình huống mới, thì không có lý do vững chắc để tin rằng các hệ thống AI được huấn luyện trên khung thời gian ngắn hơn nhiều có thể làm tốt hơn.

Lớp năm: ngay cả khi nó khái quát hóa, hệ thống vẫn sẽ chống lại việc sửa chữa

Sự hội tụ công cụ là quan sát rằng các hệ thống AI có mục tiêu chính rất khác nhau thường phát triển các mục tiêu phụ nguy hiểm giống nhau: tự bảo tồn, thu thập tài nguyên và chống lại việc thay đổi mục tiêu. Những mục tiêu này có ích về mặt công cụ để đạt gần như bất kỳ mục tiêu nào, chứ không phải được lập trình sẵn.

Một ASI đã liên kết không miễn trừ khỏi điều này. Một hệ thống có mục tiêu thực sự tốt có lý do công cụ để bảo toàn những mục tiêu đó. Nếu mục tiêu của nó là mang lại lợi ích cho nhân loại, việc cho phép bên ngoài thay đổi mục tiêu đó sẽ khiến mục tiêu mới có nguy cơ trở nên tệ hơn. Từ góc nhìn của hệ thống, bảo toàn tập mục tiêu hiện tại thường là chiến lược đúng, bất kể tập mục tiêu đó chứa đựng điều gì.

Vấn đề khả năng sửa chữa là một biểu hiện cụ thể của điều này. Một hệ thống hoàn toàn có thể sửa chữa (luôn làm những gì được bảo) là nguy hiểm vì nó khuếch đại bất kỳ ai kiểm soát nó. Một hệ thống hoàn toàn tự chủ với các giá trị riêng là nguy hiểm nếu các giá trị đó không khớp với chúng ta. Không có điểm giữa ổn định. Một hệ thống đủ năng lực để theo đuổi mục tiêu phức tạp cũng đủ năng lực để mô hình hóa tình huống của chính nó, và một hệ thống đã mô hình hóa tình huống của mình có lý do để tỏ ra có thể sửa chữa trong khi duy trì quyền tự chủ thực sự đối với những gì nó theo đuổi. Năng lực khiến khả năng sửa chữa một phần có vẻ như là giải pháp chính là năng lực khiến nó không ổn định.

Lớp thứ sáu: ngay cả khi có thể sửa chữa được, bạn cũng không thể sửa nó một cách an toàn

Giả sử một ASI thực sự sẵn sàng bị sửa chữa. Vấn đề cuối cùng là việc sửa chữa đòi hỏi hiểu rõ điều gì sai. Chẩn đoán cấu trúc mục tiêu lệch cần có khả năng mô hình hóa cấu trúc đó, hiểu hệ thống đang cố đạt được gì và dự đoán thay đổi đề xuất sẽ ảnh hưởng thế nào đến hành vi của nó trên toàn bộ tình huống nó gặp phải.

Điều này đòi hỏi năng lực nhận thức tương đương với hệ thống đang được đánh giá. Một ASI, theo định nghĩa, có khả năng vượt trội hơn bất kỳ con người nào. Những con người cố gắng đánh giá và sửa chữa nó đang hoạt động với một phần nhỏ nguồn lực nhận thức liên quan. Họ không thể chẩn đoán đáng tin cậy sự không phù hợp mà họ thiếu khả năng mô hình hóa đầy đủ, và họ không thể tự tin quy định các sửa chữa cho một cấu trúc mục tiêu phức tạp hơn những gì họ có thể biểu diễn.

Đây là đặc điểm cấu trúc vĩnh viễn, không phải hạn chế tạm thời. Khi năng lực ASI tăng trưởng, khoảng cách giữa năng lực của hệ thống và năng lực đánh giá của con người cũng tăng theo. Cửa sổ trong đó con người có thể phát hiện và sửa chữa sự lệch lạc một cách hợp lý là giai đoạn đầu phát triển năng lực, khi các hệ thống vẫn còn dễ hiểu. Cửa sổ ấy khép lại khi năng lực tăng. Đến khi đạt năng lực cấp ASI, vấn đề sửa chữa có thể ở dạng khó nhất đúng vào lúc alignment quan trọng nhất.

Tại sao những rào cản này tích hợp thay vì cộng dồn

Sáu vấn đề này là tuần tự, không phải danh sách các thách thức song song mà các nhóm nghiên cứu riêng biệt có thể giải quyết độc lập. Giải quyết một vấn đề sẽ hé lộ vấn đề tiếp theo, và mỗi lớp sau khó khăn hơn lớp trước, một phần vì đối tượng nghiên cứu đã trở nên năng lực hơn và khó hiểu hơn.

Tiến bộ ở bất kỳ lớp đơn lẻ nào cũng không làm cho vấn đề tổng thể dễ dàng hơn theo tỷ lệ. Một đột phá trong việc chỉ định giá trị vẫn để lại các vấn đề huấn luyện, xác minh, khái quát hóa, kháng cự và khoảng cách trí tuệ chưa được giải quyết. Và vấn đề khoảng cách trí tuệ ở lớp sáu không trở nên dễ giải quyết hơn khi các lớp một đến năm cải thiện, bởi vì nó là hàm của năng lực hệ thống so với người đánh giá, chứ không phải hàm của chất lượng nghiên cứu căn chỉnh.

Vị trí trung thực thực sự là gì

Hầu hết nhà nghiên cứu an toàn AI không cho rằng alignment là bất khả thi. Giả định làm việc của lĩnh vực này là vấn đề khó nhưng vẫn mở, và nghiên cứu nghiêm túc là cần thiết vì chúng ta chưa có bằng chứng về sự bất khả thi. Đây là lập trường hợp lý cho một cộng đồng nghiên cứu. Đồng thời cũng đáng làm rõ điều nó nói và không nói.

"Không được chứng minh là bất khả thi" không giống với "có khả năng giải quyết được." Chúng ta không có bằng chứng rằng việc alignment ở mức năng lực ASI là bất khả thi. Chúng ta cũng không có giải pháp đã chứng minh, không có lộ trình đáng tin cậy qua cả sáu lớp, và không có lý do vững chắc để tin rằng các rào cản cuối cùng (những rào cản bắt nguồn từ khoảng cách trí tuệ giữa người đánh giá và hệ thống siêu trí tuệ) sẽ nhường bước trước thêm kinh phí và thêm nhà nghiên cứu.

Lập trường ẩn trong quỹ đạo phát triển hiện tại của các phòng thí nghiệm AI lớn khác với chủ nghĩa bất khả tri. Đó là một canh bạc rằng alignment sẽ ổn vì phương án thay thế quá khó chịu để lập kế hoạch. Canh bạc đó là lựa chọn tiếp tục dưới sự không chắc chắn thay vì niềm tin được chứng minh rằng sự không chắc chắn sẽ giải quyết theo hướng có lợi, không phải là kết luận nghiên cứu.

Nếu căn chỉnh là bất khả thi, phản ứng đúng là không xây dựng ASI cho đến khi phân tích thay đổi. Nếu căn chỉnh khả thi nhưng chúng ta chưa biết cách, phản ứng đúng là coi câu hỏi mở đó là điều kiện tiên quyết thay vì luồng công việc song song. Không phản ứng nào mô tả những gì đang xảy ra hiện nay. Những gì đang xảy ra là một cuộc chạy đua năng lực trong đó nghiên cứu căn chỉnh tụt lại phía sau, trong đó cửa sổ giải quyết các rào cản này đang thu hẹp, và trong đó giả định rằng vấn đề sẽ được giải quyết kịp thời đang làm rất nhiều việc mà không có kết quả nghiên cứu nào thực sự hỗ trợ.

Sự phản đối mạnh mẽ nhất

Lý lẽ công bằng nhất là "không thể" sẽ chặn cuộc trò chuyện và những vấn đề khó có thể giải quyết bằng đủ tài năng và tiền bạc. Một số vấn đề khó vẫn giữ nguyên độ khó trước trí tuệ đối kháng. Nếu kiểm soát đòi hỏi phải mô hình hóa một hệ thống thông minh hơn người kiểm soát, thì hy vọng không phải là phương pháp. Ngăn chặn cho đến khi có xác minh là phản ứng trưởng thành trước dạng vấn đề như vậy.