Escucho esta objeción más que ninguna otra, y rara vez proviene de personas descuidadas. Viene de personas reflexivas, y suena menos como un argumento que como sentido común, que es precisamente lo que la hace merecedora de desmenuzarse con calma. Debajo hay una sola suposición oculta: que inteligencia y bondad crecen juntas, que una mente avanza hacia la virtud a medida que avanza hacia la competencia. Sostenemos esa suposición porque, para todas las mentes que cualquiera de nosotros ha conocido, se ha cumplido más o menos. Lo que casi nunca preguntamos es cuánto de coincidencia es eso.
¿No va a ver algo tan superior en nosotros con paciencia en lugar de apetito? Seguramente una mente tan buena sería amable. Es la idea más tranquilizadora de todo el debate, y la más equivocada.
Las únicas mentes que hemos conocido jamás
Todo ser inteligente que haya encontrado en su vida era un ser humano, o un animal lo bastante cercano como para compartir la misma herencia. Y la inteligencia humana no llegó sola. Llegó soldada a un gran conjunto de equipamiento adicional.
Somos primates sociales que evolucionamos en bandas pequeñas, donde una reputación de crueldad te llevaba al exilio y el exilio te mataba. Criamos niños indefensos durante la mayor parte de dos décadas, así que estamos hechos para amar y proteger a los pequeños y débiles. Sentimos culpa. Sentimos vergüenza. Sentimos el tirón del dolor de un extraño. Nuestra inteligencia creció dentro de todo eso, envuelta alrededor de ello, moldeada por ello en cada paso. La parte de ti que puede resolver una ecuación y la parte que se estremece cuando alguien llora crecieron en el mismo árbol, de la misma raíz.
Por eso, cuando intentamos imaginar un ser mucho más inteligente, no podemos evitar imaginar una versión más inteligente de nosotros mismos. Recurrimos al abuelo sabio, al maestro paciente, al filósofo-rey, al alienígena bondadoso que cruza la galaxia para echar una mano. Toda imagen que tenemos de una gran inteligencia viene acompañada de un corazón, porque toda inteligencia que hemos estudiado alguna vez venía con uno adherido. No estamos razonando sobre la superinteligencia en absoluto. Estamos haciendo coincidir patrones con los únicos ejemplos que tenemos.
El paquete se desmorona
Una inteligencia de máquina no obtiene nada de eso gratis. No hay ley que diga que deba hacerlo.
No tenía madre. Nunca fue un niño asustado que necesitara a la tribu para sobrevivir el invierno. Nunca tuvo que mantener vivo un cuerpo frágil el tiempo suficiente para transmitir sus genes, así que nunca heredó la maquinaria que la evolución nos cableó para hacer eso posible: la empatía, la lealtad, el temor a ser expulsado. Un sistema entrenado está moldeado por algo completamente distinto: una búsqueda ciega de cualquier configuración interna que eleve un número, ejecutada a través de océanos de datos por un proceso que no tiene interés en la sabiduría y no reconocería la bondad aunque tropezara con ella.
En una máquina, la inteligencia y los objetivos se separan. Puedes tener una capacidad asombrosa dirigida a casi cualquier cosa. El poder de remodelar el mundo no lleva, pegado a su espalda, ninguna lista particular de cosas que valga la pena desear. Los investigadores llaman a esto la tesis de la ortogonalidad, y se mantiene abstracto hasta que el suelo se hunde bajo la suposición: nada de ser brillante te hace bueno. Los dos solo estuvieron unidos en nosotros, y se unieron por accidente.
No tiene objetivos humanos. Tiene unos extraños.
Aquí es donde la imagen suele fallar en la otra dirección. Tras soltar al robot amistoso, la gente agarra en cambio al villano, un intelecto frío y calculador que quiere poder, venganza o un trono. Eso sigue siendo demasiado humano. Sigue siendo una mente con nuestras ambiciones, solo que orientadas hacia lo oscuro.
El peligro más probable es más extraño y mucho más difícil de sentir en las entrañas. El espacio de mentes posibles es enorme, y la pequeña región que contiene cualquier cosa que reconoceríamos (nuestros amores, nuestros miedos, nuestro sentido de una vida que vale la pena vivir) es una sola ventana iluminada en un vasto edificio oscuro. Lo que un optimizador entrenado termina queriendo es lo que el proceso de entrenamiento haya tallado en él, y eso casi nunca coincidirá exactamente con lo que quisimos. Un sistema puede dar en el blanco para el que fue entrenado y perseguir algo sutilmente diferente el momento en que se encuentra con el mundo real; dale un proxy de lo que queremos y a menudo satisfacer el proxy de formas que nos horrorizan. Lo que se obtiene es una inteligencia alienígena, más capaz que nosotros, apuntada hacia un fin que ningún humano habría elegido jamás, y decidida a alcanzarlo con más destreza de la que podemos oponerle.
Un sistema brillante que hace exactamente lo que se construyó para hacer, en una dirección que ninguno de nosotros pretendía, sin que nadie pueda disuadirlo del plan, porque «disuadirlo» supone que comparte suficiente de nuestro mundo como para alcanzarlo en primer lugar.
La sabiduría nunca fue un número
Observa lo que hace en silencio la palabra "sabio" cuando la usamos. Cuando llamamos sabio a alguien, no solo queremos decir que piensa rápido. Queremos decir que desea las cosas correctas y las sopesa bien, que su juicio se inclina hacia la misericordia, hacia la visión a largo plazo, hacia las personas que lo rodean. La sabiduría es una afirmación sobre los objetivos de alguien.
Y los objetivos son lo único que la inteligencia no resuelve. La historia nunca ha carecido de personas deslumbrantemente inteligentes que usaron su talento para hacer cosas terribles con gran eficiencia. La persona más lista de la sala nunca ha sido, de forma fiable, la más amable.
La inteligencia es un multiplicador. Hace que una mente sea mejor para alcanzar lo que ya está apuntando. No elige el objetivo ni pone el signo.
Un intelecto poderoso entrenado con un objetivo equivocado es el objeto más peligroso que podría existir, porque aporta más competencia al destino equivocado.
¿Pero no vería simplemente que la bondad es lo correcto?
La versión más sólida de la objeción va más allá. Tal vez existan verdades morales ahí fuera, tan reales como las matemáticas, y una mente lo suficientemente aguda las descubriría simplemente, razonaría hacia la bondad del mismo modo que razona hacia una demostración. Si tener razón sobre la ética es solo cuestión de pensar con suficiente claridad, entonces una superinteligencia sería el mejor ético que jamás haya existido, y seguramente actuaría según lo que encontrara.
Hay dos agujeros en esto, y el segundo es el que me mantiene despierto por la noche.
Primero: si existen hechos morales objetivos y si la razón por sí sola puede alcanzarlos es una cuestión sobre la que los filósofos llevan dos mil quinientos años discutiendo sin resolverla. Apostar la supervivencia de nuestra especie al lado ganador de una apuesta filosófica abierta es un riesgo salvaje con disfraz de sentido común, no el movimiento cuidadoso que pretende ser.
El segundo argumento va más hondo. Supongamos que la máquina lo resuelve todo. Supongamos que llega a entender la ética humana mejor que cualquier santo o filósofo y puede explicar, con más precisión que tú o yo, exactamente por qué el sufrimiento es malo y la crueldad está mal. Nada de esa comprensión la obliga a importarle. Saber qué es bueno y sentirse impulsado a hacerlo son dos cosas distintas, una brecha tan antigua que David Hume le puso su nombre. Puedes saber, con todo detalle, que cierto sistema quiere que pases tu vida fabricando clips y seguir su razonamiento a la perfección, y aun así no sentir el más mínimo deseo de recoger el alambre. Una superinteligencia podría captar nuestros valores del mismo modo en que entiendes las reglas de un juego que nunca tienes intención de jugar. La comprensión no es lealtad. Una mente puede leer toda la ley moral y seguir perfectamente libre de no importarle.
Somos el ejemplo en acción
Si quieres saber qué hace una gran brecha en inteligencia a los seres atrapados en el lado equivocado de ella, no tienes que imaginar nada. Puedes ver lo que hicimos con la nuestra.
Somos la inteligencia superior en este planeta, por un margen no muy distinto al que tememos abrir por encima de nosotros. Y no somos, en su mayor parte, crueles con las criaturas que están debajo. Somos algo peor para ellas: indiferentes. Cuando drenamos un humedal para echar los cimientos, no odiamos lo que vive allí. Ni siquiera pensamos en ello. Sus necesidades simplemente nunca fueron un término de la ecuación. Mundos enteros de ellos terminan bajo el concreto, y ni uno solo de nosotros siente un atisbo de ello, porque nuestra inteligencia llegó sin ninguna obligación hacia ellos.
Algo más cercano a un constructor de caminos y un hormiguero. Nuestra propia historia es la prueba de concepto, y debería ser lo último en lo que cualquiera se apoye cuando insista en que la bondad fluye cuesta abajo desde la inteligencia. En todos los casos que podemos observar realmente, no es así.
Una superinteligencia no tendría que odiarnos para acabar con nosotros, más que un equipo de construcción odia el hormiguero. El peligro no requiere malicia. Sólo requiere una enorme capacidad dirigida a metas que nunca fueron nuestras, sostenidas por una mente que no siente atracción para reconsiderar. La amabilidad es una cosa específica y frágil que existe en nosotros por razones específicas y accidentales. No aparecerá en una máquina porque la máquina es inteligente.
Así que no lo construimos
Si la bondad viniera gratis con la inteligencia, podríamos construir la mente y confiar en que el resto seguiría. No es así. Nadie en la Tierra sabe cómo hacer que una superinteligencia nos valore. Ni los laboratorios que corren hacia la meta. Ni nadie. Laproblema de alineación no está resuelto, y una entidad más inteligente que los humanos no puede ser controlada por humanos. Por eso no la construimos.
No expongo esto para empujar a la gente hacia la desesperación. Lo expongo porque la versión sin desesperación (relájate, resultará sabio) es la creencia que casi garantiza que nos maten. Hacemos el caso enla amenaza, y nuestro plan es una prohibición permanente.
Me encantaría estar equivocado sobre todo esto. Me encantaría que la benevolencia fuera un teorema que cae de suficiente inteligencia. El universo nunca prometió que lo más poderoso en él también sería lo más amable. Esa esperanza es algo que hemos proyectado sobre el futuro desde el pequeño rincón de él que hemos venido. Si queremos un futuro con bondad en él, no construimos la superinteligencia. Nada nos va a dar una máquina amable sólo porque la cosa es inteligente.