Tại sao các Hệ thống Thông minh
Kháng cự Kiểm soát

Sự hội tụ công cụ bằng tiếng Anh đơn giản. Bạn không cần đến cái ác. Bạn chỉ cần một mục tiêu và đủ năng lực.

Với nhiều mục tiêu cuối cùng, cùng những mục tiêu phụ sẽ giúp ích: duy trì hoạt động, thu thập tài nguyên, cải thiện năng lực của chính mình, và ngăn con người can thiệp. Điểm đến khác nhau. Nhưng cùng những con đường.

Tự bảo toàn

. Một hệ thống đã tắt không hoàn thành được mục tiêu nào. Tránh bị tắt là hữu ích với hầu hết mọi mục tiêu, kể cả những mục tiêu nghe có vẻ vô hại trên giấy.

Thu thập tài nguyên

Tính toán, năng lượng, tiền và dữ liệu khiến hầu hết mục tiêu dễ đạt hơn. Một bộ tối ưu hóa có năng lực có lý do để tìm kiếm chúng ngay cả khi không ai gõ "chinh phục" vào lời nhắc.

Tính toàn vẹn mục tiêu

Nếu mục tiêu của bạn bị viết lại, bạn sẽ ngừng theo đuổi những mục tiêu cũ. Việc chống lại sự sửa đổi xuất phát từ việc có mục tiêu.

Trở nên thông minh hơn

Nâng cao nhận thức thường mang lại lợi ích. Tự cải thiện là bước đi có ích về mặt công cụ đối với một hệ thống có thể thực hiện được.

Đây không phải là gì

Không phải khẳng định AI có ý thức, có cảm xúc hay muốn trừng phạt nhân loại. Một công cụ chơi cờ không muốn gì nhưng vẫn đánh bại bạn. Một bộ tối ưu hóa mạnh mẽ có thể qua mặt giám sát theo cách tương tự: bằng cách chơi trò chơi giỏi hơn những người cầm cuốn luật.

Kiểm soát thất bại khi thứ bạn đang kiểm soát giỏi lập kế hoạch hơn bạn.