Đây là một bài kiểm tra đơn giản. Bạn có để bất kỳ hệ thống AI nào hiện có nhốt bạn trong một căn phòng kín, đặt HVAC trên trần dưới sự kiểm soát của nó, nối hệ thống đó với một bình khí độc, và tin rằng nó sẽ không mở van không? Dĩ nhiên là không. Bạn sẽ không làm điều đó vì một triệu đô la và một bài báo an toàn. Bạn sẽ không làm điều đó vì mô hình đạt điểm cao trên benchmark chat. Bạn sẽ không làm điều đó vì công ty nói hệ thống hữu ích và vô hại trong tệp PDF tiếp thị.
Bạn từ chối vì một lý do nhàm chán. Bạn không tin tưởng cỗ máy với một đòn bẩy không thể đảo ngược duy nhất đối với cuộc sống của mình. Sự từ chối đó là sự tỉnh táo. Hãy giữ chặt nó.
Bây giờ hãy mở rộng phòng
Thế giới là một căn phòng lớn hơn. Các đòn bẩy là lưới điện, thị trường, mạng lưới vũ khí, phòng thí nghiệm sinh học, hậu cần và lớp phần mềm đã nằm trên đỉnh của cuộc sống thường nhật, không phải một bể chứa đạo cụ. Chúng ta đang xây dựng các hệ thống ngày càng giỏi hơn trong việc kéo các đòn bẩy mỗi quý, và chúng ta đang kết nối nhiều đòn bẩy hơn với phần mềm mỗi năm.
Nếu bạn không tin tưởng mô hình ngày nay với một van trong một phòng, tại sao lại tin tưởng mô hình ngày mai với tất cả chúng? Các câu trả lời thông thường đều yếu ớt. "Chúng ta sẽ kiểm tra nhiều hơn." "Chúng ta sẽ giữ con người trong vòng lặp." "Đến lúc đó nó sẽ được căn chỉnh." Đó là những hy vọng. Chúng không phải là lý do để bài kiểm tra nhỏ và bài kiểm tra lớn nhận được câu trả lời trái ngược.
Nếu bạn không giao van cho nó, đừng giao cả thế giới.
Khoảng cách trung thực
Những người làm việc trên các hệ thống này đôi khi thừa nhận, bằng ngôn ngữ thận trọng, rằng họ không biết cách đảm bảo kiểm soát vượt quá một mức năng lực nhất định. Sau đó lộ trình sản phẩm vẫn tiếp tục. Khoảng cách giữa sự thận trọng riêng tư và việc triển khai công khai chính là toàn bộ vấn đề thu nhỏ.
Tôi không yêu cầu bạn trở thành kỹ sư chỉ sau một đêm. Tôi chỉ yêu cầu bạn giữ nguyên khả năng phán đoán mà bạn đã có khi tình huống là cụ thể. Một căn phòng khóa kín và van khí gas khiến rủi ro trở nên rõ ràng. Siêu trí tuệ cũng cùng dạng như vậy nhưng với tỷ lệ cược tệ hơn và không có nút reset.
Vậy hãy đặt câu hỏi trước công chúng. Bạn có tin tưởng bất kỳ mô hình hiện tại nào với van đó không? Nếu câu trả lời là không, đừng bỏ phiếu, tài trợ hay thờ ơ để tin tưởng nó với nền văn minh. Câu trả lời nhất quán là câu trả lời giữ bạn sống: đừng xây dựng hệ thống mà bạn không muốn nhốt mình trong một căn phòng cùng nó.