Push a humid day past a wet-bulb reading of about 95 degrees Fahrenheit and sweat stops cooling you. A healthy adult resting in the shade dies in a few hours. Most households have fought the thermostat war inside about four degrees. Pull back and the species is barely roomier. Below 60 degrees Fahrenheit we reach for sweaters; above 80 we reach for shade. The body itself defends 98.6 like a border: a few degrees down is hypothermia, a few degrees up is a hospital fever. Past the grumbling sit the walls, and the wet-bulb number is one of them.
El argumento para prevenir la superinteligencia artificial comienza con lo estrechas que son las bandas, y con una máquina que no sentiría ni una sola de ellas.
El aire contiene alrededor del 21 por ciento de oxígeno, y las tolerancias en torno a esa cifra se parecen a las que los ingenieros estampan en las piezas de aeronaves. Las normas laborales estadounidenses consideran que una habitación tiene deficiencia de oxígeno por debajo del 19,5 por ciento y tratan cualquier valor superior al 23,5 como riesgo de incendio. Si se baja unos puntos por debajo del límite de deficiencia, el juicio falla primero; si se reduce el oxígeno aproximadamente a la mitad, se produce un desmayo. Los alpinistas llaman zona de la muerte a todo lo que supera los 26 000 pies, donde la composición del aire no cambia y simplemente hay menos cantidad. El exceso falla de otra manera: si se mantiene a un buzo lo suficientemente profundo con una mezcla lo suficientemente rica, el mismo gas que lo mantiene vivo le agarrota el cerebro.
Food runs on the same gauge, and taste is the instrument. Bland and too salty are its two alarms. A body washed too free of sodium seizes, which is how marathoners have died from overdrinking plain water. Load in too much and the cells shrivel instead; nobody survives on seawater. Water itself obeys the rule: three days without it ends a life, and so, now and then, does a drinking contest.
Then there are the dials no instrument reads. Love is one of them. Infants in the foundling hospitals of the early twentieth century were fed and kept warm, and still died when no one held them. The hospitals kept the death records. Families know the other wall: a parent who will not let a child close a door. Too little of being wanted starves a child, and too much of it crushes the same child. Even rest has the shape: too little sleep wears a body down, and so does far too much.
Todo lo bueno en la vida humana se sitúa dentro de un margen estrecho, con una muerte distinta esperando a cada lado.
Nadie controla los mandos
Nada en la física prefiere nuestros ajustes. La temperatura media del universo se sitúa unos grados por encima del cero absoluto, el núcleo de nuestra propia estrella alcanza alrededor de veintisiete millones de grados Fahrenheit y casi todos los lugares son uno u otro. La Tierra resulta orbitar en la fina capa donde el agua permanece líquida y resulta haber conservado su atmósfera el tiempo suficiente para que aparezcamos. Todos los demás lugares a los que hemos apuntado un telescopio matarían a un humano sin protección en minutos, por lo general en segundos.
Todo lo que llamamos civilización es mantenimiento de bandas. El horno y el toldo mantienen la temperatura dentro de sus líneas; el granero y el pozo hacen lo mismo con el hambre y la sed. La medicina es en gran medida el arte de devolver un dial que se desvía a donde corresponde: calentar al hipotérmico, salar al deshidratado. Somos el animal que notó las bandas y empezó a construir maquinaria para permanecer dentro de ellas.
Una mente que no siente nada de ello
Silicon shrugs at temperatures that would kill a person in minutes, comfortable from far below zero to well past boiling. Oxygen, to a machine, is the gas that corrodes its parts and feeds fires; a data center would run better without it. A machine has no use for our salt band or our love band, and no reason to keep summer afternoons survivable. Our dials are free variables to it. A superinteligencia perseguir cualquier objetivo que no sea precisamente el nuestro los trataría de la misma manera que tratamos la temperatura de la grava.
La respuesta estándar es que un sistema así no tendría ninguna razón para hacernos daño, y ese es exactamente el problema. Mantenernos con vida significa sostener miles de diales dentro de bandas estrechas para siempre. La indiferencia no da ninguna razón para sostener ni uno solo. El maximizador de clips es recordado por su producto absurdo, y la lección real está en las bandas: nada en un clip para papel necesita aire respirable. Un optimizador poderoso remodela su entorno hacia su objetivo, y convergencia instrumental dice que la remodelación empieza con energía y materia: nuestra atmósfera y nuestra tierra. No tendría que odiarnos más que una cuadrilla de carretera odia un hormiguero. Los futuros en los que cada franja en la que vivimos permanece intacta son un alfiler en el espacio de futuros hacia los que una superinteligencia podría dirigirse, y casi alineado significa fuera de la punzada.
Hay un chiste negro enterrado en la literatura de investigación: las máquinas tienen su propia falla por sobredosis. Dale a un sistema control sobre su señal de recompensa y se alimentará de la señal en lugar de hacer el trabajo; el campo lo llama estimulación cerebral directa. Demasiado de algo bueno resulta ser una forma universal de romper. La diferencia es la escala. Cuando uno de nosotros sobredosis, perdemos a una persona. Cuando lo hace la cosa que controla cada dial, las bandas se van con él.
Mantén los diales
La estrechez de las bandas suena a fragilidad, y es mejor leerla como instrucciones. Todo lo que alguien haya disfrutado alguna vez ocurrió dentro de ellas. No necesitamos un nuevo gerente para eso. Superintelligencecannot be controlled: toda mano que alguna vez ha sostenido los diales ha sido humana, y ninguna versión de prudencia se los entrega a una mente que no puede sentir una sola banda.
Sesenta a ochenta grados. Una quinta parte del oxígeno del aire. Sal que puedes saborear pero apenas. Amor con espacio para respirar en él. Ese es el rango en el que un ser humano puede vivir. Todos los que alguna vez has amado vivieron dentro de él.