Công cụ

Máy tính P(doom)

"P(doom)" là xác suất AI tiên tiến dẫn đến thảm họa cho nhân loại. Nó không phải một con số. Năm phán đoán tạo nên nó. Di chuyển thanh trượt để đặt quan điểm riêng của bạn về từng yếu tố, sau đó so sánh kết quả với các nhà nghiên cứu đặt rủi ro ở mức một nửa hoặc cao hơn. Lập trường của Foundation đơn giản: siêu trí tuệ nhân tạo không nên được xây dựng.

1. Trí tuệ siêu nhân tạo được xây dựng trong thế kỷ này 90%

. Xác suất các hệ thống AI vượt khả năng nhận thức con người ở hầu hết các lĩnh vực trước năm 2100, theo lộ trình cạnh tranh gần giống hiện nay.

2. Chúng ta không bao giờ có được sự kiểm soát đáng tin cậy 80%

Xác suất chúng ta thất bại trong việc giữ một hệ thống như vậy dưới sự kiểm soát đáng tin cậy của con người trước khi quá muộn để dừng lại.

3. Nó được trao quyền lực thực sự 85%

Xác suất một hệ thống được triển khai với quyền truy cập rủi ro cao: mạng lưới, công cụ, tiền bạc hoặc hệ thống vật lý.

4. Thất bại ở quy mô văn minh 80%

Xác suất một thất bại mang quy mô văn minh thay vì bị phát hiện và ngăn chặn kịp thời.

5. Nhân loại không thể phục hồi 90%

Xác suất một thảm họa là vĩnh viễn: tuyệt chủng hoặc mất mát không thể đảo ngược của một tương lai do con người định hướng.

Ước tính này không phải dự đoán về điều gì nằm ngoài tầm với của chúng ta. Siêu trí tuệ chỉ được xây dựng nếu chúng ta tiếp tục xây dựng nó. Dừng dự án đó lại và P(doom) sẽ giảm theo.

Cách tính này

Mỗi thanh trượt là một phần của phán đoán. Máy tính báo cáo trung bình nhân của năm giá trị phần trăm.

P(doom) = (P(built) × P(no control) × P(gets power) × P(catastrophe) × P(no recovery))1/5

Đặt cả năm thanh trượt ở 80 thì kết quả là 80. Hạ một thanh xuống và kết quả giảm theo. Một chuỗi năm bước nhân nhau sẽ đưa cùng đầu vào về gần zero: 50% mỗi bước cho ra 3%. Đó không phải cách Hinton, Tegmark hay Yudkowsky đưa ra con số. Giá trị trung bình giữ bạn trên thang đo của họ.

Báo cáo năm 2021 của Joe Carlsmith sử dụng tích của các tiền đề đúng, đó là lý do con số ban đầu của ông ở gần 10% ngay cả với các điều kiện nghiêm ngặt. Hãy coi đầu ra này như công cụ hỗ trợ suy luận.

P(doom) ước tính
  • Yann LeCun
    Meta; các tuyên bố công khai    <1%
  • Nhà nghiên cứu ML trung vị
    Khảo sát AI Impacts của hơn 2.700 nhà nghiên cứu, 2023    ~5%
  • Joe Carlsmith
    Báo cáo Open Philanthropy, 2021 (sau được điều chỉnh tăng)    ~10%
  • Paul Christiano
    Nhà nghiên cứu Alignment; ước tính công khai    ~20%
  • Geoffrey Hinton
    Giải Nobel; các cuộc phỏng vấn, 2023-2025 (phạm vi lên đến ~50%)    ~50%
  • Daniel Kokotajlo
    Cựu OpenAI; Phỏng vấn New York Times, 2024    ~70%
  • Dan Hendrycks
    Trung tâm An toàn AI; tuyên bố công khai, 2023    >80%
  • Andrew Critch
    UC Berkeley CHAI; ước tính công khai, 2024    ~85%
  • Max Tegmark
    MIT; Future of Life Institute; ước tính công khai    >90%
  • Connor Leahy
    Conjecture; các ước tính công khai    90%+
  • Eliezer Yudkowsky
    MIRI; Nếu Ai Đó Xây Dựng Nó, Mọi Người Đều Chết    >95%
  • Nate Soares
    Chủ tịch MIRI; đồng tác giả với Yudkowsky    >95%
  • Roman Yampolskiy
    Đại học Louisville; nghiên cứu an toàn AI    ~99.9%
Nhiều công cụ tương tác hơn
Tất cả công cụ →
So sánh
So sánh rủi ro AI thế nào
Đố vui
Kiểm tra trình độ hiểu biết về an toàn AI của bạn