P(doom) không phải thuật ngữ kỹ thuật từ bài báo chính thức. Nó xuất hiện trong các thảo luận AI safety trực tuyến như cách viết tắt cho ước tính xác suất mà hầu hết nhà nghiên cứu trước 2020 sẽ không gán số cho. Sự sẵn sàng lượng hóa nó (xem rủi ro thảm họa AI như một xác suất cần ước tính thay vì một khả năng cần ám chỉ mơ hồ) là một trong những thay đổi có ý nghĩa trong cách những người làm việc gần nhất với phát triển AI nghĩ về vấn đề.
Các ước tính dao động từ vài phần trăm đến hơn 50%, tùy nhà nghiên cứu và cách họ đánh giá độ khó của alignment cũng như tốc độ quản trị. Khoảng này cho chúng ta biết điều gì, và tại sao ngay cả xác suất thấp cũng đòi hỏi sự chú ý nghiêm túc.
Từ “doom” trong P(doom) được cố ý không định nghĩa cụ thể. Các nhà nghiên cứu khác nhau dùng nó để chỉ sự tuyệt chủng của loài người, mất vĩnh viễn quyền tự chủ của con người, tập trung vĩnh viễn quyền lực vào một tác nhân duy nhất, hoặc một thảm họa văn minh nào đó. Sự không chính xác này được thừa nhận; mục đích của thuật ngữ là buộc phải suy luận định lượng rõ ràng về rủi ro thay vì dựa vào trực giác về việc nó có “thực” hay “giả thuyết”.
Các ước tính trông như thế nào
Khoảng cách giữa các nhà nghiên cứu này rất đáng chú ý. Hinton và Yudkowsky cách nhau hàng chục điểm phần trăm. Phân tích phân rã chính thức của Carlsmith cho ra một khoảng rộng thay vì một con số cụ thể, phản ánh sự không chắc chắn thực sự ở mỗi bước trung gian. Điểm chung của các ước tính này là chúng đều không nhỏ; không nhà nghiên cứu nào tập trung vào an toàn, đã nghiêm túc xem xét vấn đề và đưa ra con số, lại cho kết quả dưới khoảng 5%.
Đặt quan điểm riêng của bạn về từng điểm then chốt dưới đây và xem chúng nhân lên thành một ước tính duy nhất.
Tại sao khoảng rộng tồn tại
P(doom) dưới dạng con số là tích của một số câu hỏi trung gian không chắc chắn nhân lại với nhau. AI sẽ tiến bộ nhanh đến mức nào? Vấn đề alignment khó đến đâu ở mức năng lực vượt quá những gì chúng ta đã thử nghiệm? Xác suất AI lệch mục tiêu ở mức năng lực nhất định gây hại thảm khốc thay vì hạn chế là bao nhiêu? Xác suất quản trị phản ứng hiệu quả trước ngưỡng năng lực tới hạn là bao nhiêu?
Các nhà nghiên cứu khác nhau có phân phối khác nhau về những câu hỏi này, và các ước tính kết hợp lại. Một nhà nghiên cứu cho rằng vấn đề liên kết có thể giải quyết được, năng lực tiến triển tương đối chậm, và quản trị sẽ kịp phản ứng sẽ đưa ra ước tính tổng thể thấp hơn nhiều so với người có quan điểm ngược lại về mỗi câu hỏi. Phạm vi rộng phản ánh sự không chắc chắn thực sự về từng yếu tố, chứ không phải bất đồng sẽ được giải quyết bằng cách xem xét cùng bằng chứng kỹ lưỡng hơn.
Lập luận về giá trị kỳ vọng
Một phản ứng phổ biến với các ước tính P(doom) không tầm thường là: "Ngay cả 10% cũng có vẻ quá thấp để tái cấu trúc xã hội xung quanh." Phản ứng này dựa trên sự thất bại trong lập luận giá trị kỳ vọng mà sẽ không được chấp nhận trong các bối cảnh rủi ro khác.
Xác suất hàng năm của một đại dịch lớn có thể giết chết hàng triệu người được ước tính dưới 1% trong bất kỳ năm nào, nhưng công tác chuẩn bị ứng phó đại dịch vẫn nhận được đầu tư và chú ý chính sách đáng kể trên toàn cầu. Xác suất suốt đời tử vong do tai nạn xe hơi ở US khoảng 1%, và quy định an toàn giao thông được coi là hoàn toàn bình thường. Lập luận rằng xác suất 10% (hoặc thậm chí 5%) gây ra thảm họa văn minh không đáng nhận đầu tư phòng ngừa nghiêm túc là cách áp dụng không mạch lạc so với cách chúng ta xử lý rủi ro trong các lĩnh vực khác.
Giá trị kỳ vọng bằng xác suất nhân độ lớn. Đối với rủi ro không thể đảo ngược và mang quy mô văn minh (nơi không có sự phục hồi từ kết quả xấu, và kết quả xấu loại bỏ mọi giá trị tương lai), giá trị kỳ vọng của việc thận trọng vẫn rất lớn ngay cả khi xác suất thấp hơn nhiều so với 10%. Xác suất 1% mất tất cả là một vấn đề mà chi phí kỳ vọng là 1% của mọi thứ, và trên quy mô của tương lai dài hạn, đó là một con số khổng lồ, không phải vấn đề 1%.
Điều gì sẽ làm giảm P(doom)
Các nhà nghiên cứu bày tỏ ước tính P(doom) cao đang chẩn đoán nơi công việc quan trọng nhất cần diễn ra, chứ không phải cam chịu kết quả xấu. Các yếu tố có thể hạ P(doom) trong ước tính của hầu hết các nhà nghiên cứu đã được hiểu rõ: tiến bộ đã chứng minh trên công cụ diễn giải có khả năng xác minh alignment trong các hệ thống tiên phong; các phương pháp giám sát có thể mở rộng giữ được ở mức năng lực vượt quá chuyên gia con người; các khuôn khổ quản trị quốc tế ràng buộc với thực thi thực sự; và phát triển năng lực diễn ra chậm hơn nghiên cứu alignment để an toàn được thiết lập trước khi đạt mức năng lực nguy hiểm.
Đây là lý do Nakada Foundation tập trung vào khuôn khổ quản trị và nghiên cứu alignment như những đòn bẩy chính, thay vì bác bỏ rủi ro hoặc coi một ước tính P(doom) cụ thể là câu trả lời có thẩm quyền. Sự không chắc chắn trong P(doom) không phải lý do để chờ thêm thông tin, vì kết quả xấu xảy ra ở ngưỡng năng lực cụ thể, chứ không theo một mốc thời gian cho phép hoãn phòng ngừa vô thời hạn.