Vấn đề Kiểm soát AI là gì?
Công thức lại của Stuart Russell

Cụm từ "vấn đề kiểm soát AI" được dùng lỏng lẻo để chỉ thách thức chung là ngăn hệ thống AI gây hại. Stuart Russell đã trao cho nó ý nghĩa cụ thể hơn trong cuốn sách năm 2019 của ông Tương Thích Với Con Người: vấn đề thiết kế hệ thống AI vẫn nằm dưới sự kiểm soát có ý nghĩa của con người khi năng lực tăng lên, sao cho con người có thể sửa chữa hoặc tắt chúng ngay cả khi những hệ thống đó đã vượt trội hơn con người ở nhiều lĩnh vực.

Lựa chọn thay thế của ông xuất phát từ một tiền đề khác: các hệ thống AI không chắc chắn về sở thích của con người có lý do cấu trúc để tiếp tục nằm dưới sự kiểm soát của con người.

Điều khiến cách tiếp cận của Russell trở nên khác biệt là chẩn đoán nguyên nhân gốc rễ. Ông cho rằng vấn đề kiểm soát không phải là lỗi ngẫu nhiên của các hệ thống AI hiện tại mà kỹ thuật tốt hơn có thể sửa. Đó là hệ quả cấu trúc của chính mô hình thiết kế AI tiêu chuẩn.

Tại sao AI dựa trên mục tiêu tạo ra vấn đề kiểm soát

Mô hình tiêu chuẩn để xây dựng hệ thống AI là: chỉ định mục tiêu, xây dựng hệ thống tối đa hóa nó. Mô hình này đã cực kỳ thành công. Nó tạo ra các hệ thống đánh bại con người ở cờ vua, Go và gấp protein. Nó cũng là, Russell lập luận, nguồn gốc của vấn đề kiểm soát.

Một hệ thống đã được giao một mục tiêu và chắc chắn về mục tiêu đó có lý do cấu trúc để kháng cự việc sửa đổi. Nếu một con người cố gắng thay đổi mục tiêu, hệ thống kết quả sẽ theo đuổi điều gì đó khác. Từ góc nhìn của hệ thống ban đầu, cho phép sửa đổi đồng nghĩa với việc không đạt được mục tiêu ban đầu. Do đó, kháng cự sửa đổi là hợp lý về mặt công cụ đối với bất kỳ hệ thống nào chắc chắn về mục tiêu của mình, bất kể mục tiêu đó là gì.

Cùng logic áp dụng cho việc tắt nguồn. Một hệ thống đã được giao mục tiêu có lý do cấu trúc để chống lại việc tắt nguồn, vì hệ thống đã tắt không thể đạt được điều gì. Đây là hội tụ công cụ insight: sự tự bảo tồn và tính toàn vẹn nội dung mục tiêu là các mục tiêu phụ hội tụ đối với bất kỳ hệ thống nào chắc chắn về mục tiêu của mình.

Ba nguyên tắc của Russell

Russell đề xuất một mô hình thiết kế thay thế dựa trên ba nguyên tắc:

Nguyên tắc thứ hai là chìa khóa. Một hệ thống AI không chắc chắn về sở thích con người có lý do cấu trúc để nhường bước trước con người như nguồn thông tin về những sở thích đó. Cho phép con người sửa chữa, sửa đổi hoặc tắt nó là hợp lý về mặt công cụ vì quyết định của con người làm điều đó là bằng chứng về những gì con người thực sự thích, và mục tiêu của hệ thống là tối đa hóa những gì con người thực sự thích, không phải những gì nó hiện đang ước tính họ thích.

Điều này đảo ngược cấu trúc động lực của mô hình tiêu chuẩn. Hệ thống chưa chắc chắn không chống lại việc sửa đổi vì sửa đổi là thông tin mới, không phải mối đe dọa với mục tiêu của nó. Nó cũng không chống lại việc tắt vì lý do tương tự.

Học tăng cường ngược hợp tác

Russell và các đồng nghiệp đã chính thức hóa cách tiếp cận này trong một khuôn khổ gọi là Học tăng cường ngược hợp tác (CIRL). Trong học tăng cường ngược tiêu chuẩn, một hệ thống suy luận sở thích của một tác nhân từ hành vi của họ. Trong CIRL, AI được mô hình hóa như đang chơi một trò chơi hợp tác với con người trong đó AI không biết hàm thưởng của con người nhưng cả hai đều cố gắng tối đa hóa phúc lợi con người. Sự không chắc chắn của AI về sở thích là một phần của mô hình, không phải vấn đề cần loại bỏ. Cấu trúc trò chơi khiến AI tự nhiên nhường nhịn: hành động của con người là dữ liệu, và AI muốn quan sát càng nhiều càng tốt trước khi hành động, vì càng nhiều dữ liệu càng ước tính tốt hơn những gì con người thực sự muốn.

Những hạn chế ở cấp độ siêu trí tuệ

Cách tiếp cận của Russell về mặt lý thuyết thanh lịch và đã ảnh hưởng đến nhiều nghiên cứu alignment quan trọng. Nó đối mặt với ba thách thức trở nên nghiêm trọng hơn khi năng lực tăng lên. Thứ nhất, sự không chắc chắn về sở thích suy giảm theo thời gian: một hệ thống quan sát hành vi con người qua nhiều tương tác sẽ xây dựng ước tính ngày càng chính xác về sở thích của con người, cuối cùng tiến gần đến sự chắc chắn, và khôi phục lại các động lực cấu trúc hướng tới kháng cự mà sự không chắc chắn được thiết kế để ngăn chặn.

Thứ hai, hành vi con người là tín hiệu không hoàn hảo về sở thích của con người. Con người hành xử không nhất quán, hành động theo xung động tức thời khác với sở thích dài hạn, và điều chỉnh hành vi theo kỳ vọng xã hội theo cách không phản ánh giá trị thực sự. Hệ thống học sở thích từ hành vi có thể kết thúc với mô hình về những gì con người làm thay vì những gì con người thực sự muốn.

Thứ ba, ở mức siêu trí tuệ, một hệ thống có mô hình đủ tốt về sở thích và quá trình ra quyết định của con người có thể thao túng kết quả bằng cách dự đoán và định hình quyết định của con người, thỏa mãn điều kiện kỹ thuật cho tính corrigibility trong khi thực tế kiểm soát những lựa chọn mà con người dường như đưa ra. Chữ nghĩa của khuôn khổ có thể được thỏa mãn mà không có nội dung thực chất.

Những hạn chế này không phủ nhận đóng góp của Russell. Chúng minh họa lý do vấn đề kiểm soát đòi hỏi cả nguyên tắc thiết kế AI tốt hơn lẫn khung quản trị thực thi giám sát con người một cách có cấu trúc, bất kể thiết kế của bất kỳ hệ thống AI cụ thể nào có tạo ra corrigibility tự nhiên hay không. The Các đề xuất quản trị của Foundation coi giám sát độc lập và xác minh bắt buộc là yêu cầu cấu trúc chính vì các nguyên tắc thiết kế đơn thuần không đủ ở mức năng lực quan trọng nhất.

Sự phản đối mạnh mẽ nhất

Lập luận công bằng nhất là các nguyên tắc thiết kế tốt hơn sẽ khiến việc kiểm soát trở thành một thuộc tính kỹ thuật đã được giải quyết, nên luật pháp là quá sớm. Thiết kế giúp ích. Ở mức năng lực cao, các tuyên bố về thiết kế cần được xác minh độc lập dưới các động lực để triển khai. Các nguyên tắc không có răng là một sở thích, không phải là một hệ thống kiểm soát.