ASI Bài kiểm tra Kiến thức

Các vấn đề AI thông thường là có thật. Nhưng đó không phải là sứ mệnh. Quỹ tồn tại để ngăn chặn ASI: những hệ thống sẽ vượt trội con người ở mọi lĩnh vực quan trọng.

Kiểm soát giả định chúng ta vẫn là bên thông minh hơn. Vượt qua đường giới hạn đó, công tắc tắt, bộ quy tắc hay chính sách phòng thí nghiệm trở thành thứ mà hệ thống có thể lách.

Một lệnh tạm dừng hết hạn khi các phòng lab tuyên bố đã giải quyết được vấn đề kiểm soát chính là cách cuộc đua tiếp tục. Yêu cầu là lệnh cấm vĩnh viễn việc xây dựng siêu trí tuệ.

Quyền lực đối với quyết định xây dựng là thật. Quyền lực đối với một siêu trí tuệ đang chạy chỉ là câu chuyện người ta tự kể để dự án có thể tiếp tục.

Trung Quốc không phải tác nhân hiền lành. Nhưng cũng không phải khoảng trống không có quy tắc. Dùng "Trung Quốc sẽ không dừng lại" làm lý do để chạy đua là tiền đề yếu cho một canh bạc văn minh.

Công việc alignment có thể mô tả cách kiểm soát thất bại. Điều đó hữu ích. Nó không cho phép xây dựng hệ thống mà công việc đó nói chúng ta không thể kiểm soát.

Đây là cách nói tắt cho xác suất chủ quan về thảm họa. Việc đặt tên cho con số buộc phải đưa ra một tuyên bố rõ ràng thay vì chỉ ra hiệu mơ hồ về rủi ro.

Một hệ thống có thể bị tắt, bị cắt nguồn tính toán hoặc bị chặn công cụ sẽ kém hiệu quả hơn ở gần như mọi mục tiêu. Sự tìm kiếm quyền lực xuất phát từ năng lực, chứ không phải ham muốn cai trị theo kiểu hoạt hình.

Quỹ ủng hộ narrow AI vẫn chỉ là công cụ. Điều cấm là các hệ thống vượt trội hơn chúng ta, chứ không phải phần mềm hỗ trợ con người làm việc.

Các cuộc thanh tra tại chỗ và kiểm kê vật liệu của IAEA là tiền lệ thông thường cho cách các quốc gia đối thủ có thể xác minh các giới hạn đối với phát triển nguy hiểm.

Một phòng thí nghiệm được niêm phong giả định rằng chúng ta vẫn là bên thông minh hơn và không ai từng mở cửa. Cả hai đều sụp đổ khi thứ bên trong có năng lực vượt trội hơn những người bên ngoài.

Chiến tranh hạt nhân bị giới hạn về mặt địa lý. Siêu trí tuệ thì không. Nó có thể tiếp cận bất kỳ máy móc nào được kết nối mạng và bất kỳ ai vẫn còn sử dụng chúng. Kế hoạch khả thi là không xây dựng nó.