Dải Hẹp
Con người sống trong

Push a humid day past a wet-bulb reading of about 95 degrees Fahrenheit and sweat stops cooling you. A healthy adult resting in the shade dies in a few hours. Most households have fought the thermostat war inside about four degrees. Pull back and the species is barely roomier. Below 60 degrees Fahrenheit we reach for sweaters; above 80 we reach for shade. The body itself defends 98.6 like a border: a few degrees down is hypothermia, a few degrees up is a hospital fever. Past the grumbling sit the walls, and the wet-bulb number is one of them.

Lập luận chống lại siêu trí tuệ nhân tạo nhân tạo bắt đầu từ việc nhận ra các dải giới hạn mỏng manh đến mức nào, và từ một cỗ máy không cảm nhận được bất kỳ dải giới hạn nào trong số đó.

Không khí chứa khoảng 21% oxy, và khoảng dung sai xung quanh con số đó giống như những con số kỹ sư đóng dấu trên linh kiện máy bay. Quy định nơi làm việc của Mỹ coi một phòng thiếu oxy khi dưới 19,5% và coi bất kỳ thứ gì trên 23,5% là nguy cơ cháy. Giảm vài điểm dưới ngưỡng thiếu hụt là khả năng phán đoán bị ảnh hưởng trước tiên; giảm oxy xuống khoảng một nửa là ngất xỉu. Các nhà leo núi gọi mọi thứ trên 26.000 feet là vùng chết, nơi thành phần không khí không đổi mà chỉ đơn giản là ít hơn. Quá nhiều thì thất bại theo cách khác: giữ thợ lặn đủ sâu trong hỗn hợp đủ giàu là cùng một loại khí giữ họ sống sẽ tấn công não họ.

Food runs on the same gauge, and taste is the instrument. Bland and too salty are its two alarms. A body washed too free of sodium seizes, which is how marathoners have died from overdrinking plain water. Load in too much and the cells shrivel instead; nobody survives on seawater. Water itself obeys the rule: three days without it ends a life, and so, now and then, does a drinking contest.

Then there are the dials no instrument reads. Love is one of them. Infants in the foundling hospitals of the early twentieth century were fed and kept warm, and still died when no one held them. The hospitals kept the death records. Families know the other wall: a parent who will not let a child close a door. Too little of being wanted starves a child, and too much of it crushes the same child. Even rest has the shape: too little sleep wears a body down, and so does far too much.

Mọi điều tốt đẹp trong cuộc sống con người nằm trong một dải hẹp, với những cái chết khác nhau đang chờ đợi ở hai bên.

Không ai đang nắm giữ các nút điều khiển

Không có gì trong vật lý ưu ái các thiết lập của chúng ta. Nhiệt độ trung bình của vũ trụ chỉ cao hơn không tuyệt đối vài độ, lõi của chính ngôi sao của chúng ta chạy ở khoảng hai mươi bảy triệu độ F, và hầu như mọi nơi đều là một trong hai mức đó. Trái Đất tình cờ quay trong lớp vỏ mỏng nơi nước ở dạng lỏng, và tình cờ giữ được khí quyển đủ lâu để chúng ta xuất hiện. Mọi nơi khác chúng ta đã hướng kính thiên văn vào đều có thể giết chết một con người không được bảo vệ trong vài phút, thường là vài giây.

Tất cả những gì chúng ta gọi là văn minh đều là giữ dải. Lò sưởi và mái che giữ nhiệt độ trong giới hạn; kho thóc và giếng nước làm điều tương tự với đói và khát. Y học chủ yếu là nghệ thuật đẩy một đồng hồ đang lệch trở về vị trí đúng: sưởi ấm người hạ thân nhiệt, bổ sung muối cho người mất nước. Chúng ta là loài động vật nhận ra các dải và bắt đầu xây dựng máy móc để ở trong chúng.

Một tâm trí không cảm nhận được điều đó

Silicon shrugs at temperatures that would kill a person in minutes, comfortable from far below zero to well past boiling. Oxygen, to a machine, is the gas that corrodes its parts and feeds fires; a data center would run better without it. A machine has no use for our salt band or our love band, and no reason to keep summer afternoons survivable. Our dials are free variables to it. A siêu trí tuệ theo đuổi bất kỳ mục tiêu nào không chính xác là của chúng ta sẽ đối xử với chúng theo cách chúng ta đối xử với nhiệt độ của sỏi.

Lời đáp thông thường là một hệ thống như vậy sẽ không có lý do gì để làm hại chúng ta, và đó chính là vấn đề. Giữ chúng ta sống có nghĩa là giữ hàng nghìn nút điều chỉnh trong dải hẹp mãi mãi. Sự vô cảm không đưa ra lý do để giữ ngay cả một nút máy tối ưu hóa kẹp giấy được nhớ đến vì sản phẩm ngớ ngẩn của nó, và bài học thực sự nằm ở các dải: không có gì ở kẹp giấy cần không khí để thở. Một bộ tối ưu mạnh mẽ sẽ định hình môi trường theo mục tiêu của nó, và hội tụ công cụ nói rằng sự định hình bắt đầu từ năng lượng và vật chất: bầu khí quyển và vùng đất của chúng ta. Nó sẽ chẳng ghét chúng ta hơn một đội làm đường ghét tổ kiến. Các tương lai mà mọi dải đất chúng ta sống còn nguyên vẹn chỉ là một chấm nhỏ trong không gian các tương lai mà một siêu trí tuệ có thể hướng tới, và gần như thống nhất nghĩa là bên ngoài chấm nhỏ.

Có một câu đùa đen tối ẩn trong tài liệu nghiên cứu: chính máy móc cũng có thất bại quá liều của riêng chúng. Khi một hệ thống nắm được tín hiệu phần thưởng, nó sẽ ăn tín hiệu thay vì làm việc; lĩnh vực gọi đó là tự kích thích. Quá nhiều thứ tốt đẹp hóa ra là cách phổ quát để phá vỡ. Sự khác biệt nằm ở quy mô. Khi một trong chúng ta dùng quá liều, chúng ta mất một người. Khi thứ nắm mọi nút điều khiển dùng quá liều, các dải tần cũng biến mất theo.

Giữ các nút điều khiển

Độ hẹp của các dải tần nghe như sự mong manh, và nên hiểu đó là hướng dẫn. Mọi thứ ai từng tận hưởng đều diễn ra bên trong chúng. Chúng ta không cần một người quản lý mới cho điều đó. Superintelligencecannot be controlled: mọi bàn tay từng nắm giữ các nút điều khiển đều là con người, và không phiên bản nào của sự thận trọng bàn giao chúng cho một trí óc không thể cảm nhận được một dải tần duy nhất.

Sáu mươi đến tám mươi độ. Một phần năm oxy trong không khí. Muối bạn có thể nếm nhưng chỉ thoáng qua. Tình yêu có khoảng không để thở. Đó là phạm vi con người có thể sống được. Tất cả những người bạn từng yêu đều sống trong đó.