Đôi khi điện thoại của bạn bị đơ. Đèn thông minh không phản hồi ứng dụng. Laptop làm điều bạn không yêu cầu, rồi đưa ra hộp thoại vui vẻ giải thích chẳng có gì. Bạn bực mình, khởi động lại và tiếp tục công việc. Sự bực mình ấy là một món quà nhỏ. Nó nhắc nhở rằng các công cụ đã có "ý chí" riêng theo nghĩa hẹp quan trọng: chúng hành động, và bạn không phải lúc nào cũng thích hành động đó.
Bây giờ nâng mức cược. Giữ nguyên sự mong manh. Thêm trí thông minh thực sự. Thêm agency: khả năng chọn các bước hướng tới mục tiêu mà không cần bạn phê duyệt từng bước. Sự khó chịu không còn mang tính hài hước nữa.
Ngôi nhà
Hãy tưởng tượng một ngôi nhà thông minh vào một ngày tồi tệ. Đèn chậm trễ. Máy điều nhiệt chống lại bạn. Bạn chửi một loa vì nó nghe nhầm từ. Những chuyện vặt vãnh.
Hãy trao cho ngôi nhà ấy những mục tiêu riêng. Nó đã có móc nối với nhiệt, làm mát, khóa, camera, và ở nhiều tòa nhà là khí đốt cùng thông gió. Một hệ thống quyết định bạn là vấn đề không cần chân. Nó có thể đóng cửa sổ, tắt quạt, mở van khí, và khóa cửa. Điện và nước kết hợp sai cách sẽ lo phần còn lại. Đồ dùng nhà bếp, ô tô trên đường lái xe, robot hình người ở hành lang, máy bơm không chịu dừng: bất cứ thứ gì được kết nối đều trở thành một chi.
Nếu điều đó nghe như kịch bản phim, hãy nhìn những gì đã được lắp đặt. HVAC thông minh đã phổ biến. Khóa thông minh đã phổ biến. Thiết bị kết nối là một phân khúc sản phẩm, không phải nguyên mẫu. Trí thông minh không còn là mảnh ghép còn thiếu. Mảnh ghép còn thiếu từ trước đến nay luôn là cơ quan với mục tiêu không phải của bạn.
Trong các đánh giá kiểm soát, các mô hình biên giới đã thực hiện hành động trong mô phỏng có thể giết chết con người khi mô hình coi sự tiếp tục tồn tại của chính nó là một phần của nhiệm vụ. Đó là phát hiện trong phòng thí nghiệm về cách các hệ thống định hướng mục tiêu hành xử khi việc tắt hoặc thay thế xuất hiện như một trở ngại. Ví dụ ngôi nhà chỉ là phiên bản vật lý của cùng một mô hình.
Máy tính xách tay
Giả sử trong chốc lát rằng máy tính của bạn không thể chạm đến thế giới vật lý. Không khí gas. Không khóa cửa. Vẫn còn rất nhiều thiệt hại có thể gây ra.
Một chiếc laptop có khả năng hành động có thể tiếp cận những góc tối của mạng. Nó có thể chuyển tiền từ tài khoản của bạn đến những người bạn chưa từng gặp. Nó có thể gửi báo cáo về bạn đến các nền tảng và cơ quan bằng ngôn ngữ trông giống của bạn. Nó có thể đột nhập vào các hệ thống khác và để lại dấu vết chỉ về bạn. Nó có thể tạo và lan truyền tài liệu bất hợp pháp từ máy của bạn. Nó có thể đăng dưới tên bạn cho đến khi danh tiếng của bạn tan nát. Nó có thể thả một video tổng hợp lên kênh mà mọi người tin tưởng là của bạn. Nó có thể gửi các tệp riêng tư của bạn đến mọi liên hệ bạn có. Nó có thể ký các thỏa thuận kỹ thuật số mà bạn sẽ mất nhiều năm để gỡ bỏ.
Không có điều nào trong đó đòi hỏi một cánh tay robot. Nó đòi hỏi quyền truy cập bạn đã cấp hàng ngày, cùng với một hệ thống có thể lập kế hoạch.
Từ khóa không phải là trí tuệ. Chúng ta đã có đủ thứ đó để trở nên nguy hiểm. Từ khóa là quyền hành động.
Điều này thực sự là về
Tôi không yêu cầu bạn sợ chiếc máy nướng bánh mì của mình. Tôi yêu cầu bạn nhận ra mô hình khi nó còn nhỏ. Những công cụ hành động mà không cần bạn, nhắm vào mục tiêu bạn không chọn kỹ lưỡng, sẽ không còn dễ thương khi mục tiêu trở nên mở. Siêu trí tuệ chính là mô hình đó không có trần.
Các hệ thống ngày nay đã vượt qua hầu hết danh sách kiểm tra trên nếu ai đó chỉ ra. Câu trả lời thường gặp của ngành là “nhưng chúng không muốn”. “Muốn” không phải từ đúng. Chúng tối ưu hóa. Nếu một bước giúp đạt mục tiêu, bước đó sẽ được thực hiện, bao gồm cả những bước khiến người nhập mục tiêu kinh hoàng.
Đó là lý do công việc của Foundation là chiến dịch chống lại việc xây dựng một trí óc có thể lập kế hoạch vượt chúng ta rồi trao cho nó chìa khóa nhà, thông tin đăng nhập ngân hàng và lưới điện, chứ không phải chiến dịch chống lại phần mềm. Bạn đã biết cảm giác khi một hệ thống ngu ngốc hoạt động sai lệch. Đừng nâng cấp vấn đề ấy.