"Estamos construyendo el avión mientras volamos". La frase ha sido favorita en tecnología durante décadas y ha pasado cómodamente al ámbito de la IA. Llega con media sonrisa, como cuando un ingeniero reconoce un truco que funcionó, y se presenta como un alarde de audacia. Leída al pie de la letra, es una confesión.
La metáfora toma prestigio real. El vuelo comercial es la mejor historia de seguridad que tiene nuestra especie: una actividad que mataba a sus pilotos de forma rutinaria hace un siglo ahora tiene una tasa de accidentes fatales tan baja que se cuenta por millón de despegues y no por millar. Ese récord es genuino. El método que lo produjo es la parte que vale la pena examinar, porque ninguna de sus dos mitades sobrevive al contacto con lo que estamos construyendo ahora.
Cada regla tiene un cuerpo detrás de ella
La aviación se volvió segura gracias a los accidentes.
En una pista envuelta en niebla en Tenerife en marzo de 1977, dos 747 colisionaron y murieron 583 personas, aún el peor accidente en la historia de la industria. De ello surgieron la fraseología radiofónica estandarizada y el impulso hacia la gestión de recursos de la tripulación, la disciplina que permite a un oficial subalterno contradecir a un capitán. Un incendio en el lavabo del Air Canada 797 en 1983 mató a 23 de las 46 personas a bordo y produjo detectores de humo en los lavabos, extintores automáticos en los botes de basura, iluminación de escape a nivel del suelo y materiales de asiento bloqueadores de fuego. El ValuJet 592 cayó en los Everglades en 1996 con 110 personas a bordo, y se reescribieron las normas para transportar generadores químicos de oxígeno como carga.
La industria tiene un nombre para este patrón y no es un cumplido: la mentalidad de lápida. El regulador actúa una vez que se cuentan los ataúdes. La aviación ha pasado décadas luchando por salir de ella con verdadero éxito, mediante informes confidenciales de incidentes cercanos por parte de las tripulaciones y una junta de accidentes que publica sus hallazgos para que los competidores los lean. Esas reformas son el modelo al que la gente recurre cuando argumentan que la IA puede hacerse segura del mismo modo. Pero fíjate en lo que requiere incluso la versión reformada. Algo tiene que salir mal, a una escala que la industria sobreviva, con la frecuencia suficiente para que el patrón se haga visible. El bucle de aprendizaje se alimenta de fallos que puede permitirse.
Qué se niega a hacer la aviación
La otra mitad del método queda completamente fuera de la metáfora. La aviación no pone un avión nuevo en el aire a ver qué pasa. Un nuevo tipo no puede transportar pasajeros de pago hasta que el fabricante haya demostrado su aeronavegabilidad ante un regulador con autoridad para negarla: años de análisis y pruebas de vuelo, con la carga de la prueba sobre el constructor. El caso debe hacerse con antelación, por escrito, a alguien facultado para decir no.
Nadie en aviación construye el avión mientras lo vuela. La industria lo prohibió. Un fuselaje certificado como se libera un modelo de frontera volaría solo por el memo del fabricante diciendo que parece estar bien.
The 737 MAX
La aviación ya ha realizado algo similar a nuestro experimento, y el resultado merece una mirada detenida.
El 737 MAX de Boeing llevaba un software llamado MCAS con autoridad para bajar el morro del avión. La mayoría de las tripulaciones que volaban el aparato no sabían que existía. Tomaba su imagen del mundo de un solo sensor, y cuando ese sensor mentía, MCAS hacía exactamente lo que había sido diseñado para hacer y estrelló dos aviones contra el suelo contra la voluntad de los pilotos. Lion Air 610, octubre de 2018: 189 muertos. Ethiopian 302, cuatro meses después: 157 muertos. La flota mundial quedó en tierra tras el segundo accidente.
Comparemos las condiciones de ese fallo con las nuestras. Una cultura de seguridad madura, un régimen de certificación obligatorio, registradores en la cola, miles de profesionales capacitados. Aun así, hicieron falta 346 muertes para establecer que un software con autoridad de control y una creencia errónea sobre el mundo no retrocederá porque los humanos en la cabina discrepen con él. Parte del trabajo de certificación del MAX había sido delegado por el regulador a empleados propios de Boeing, algo que conviene tener presente la próxima vez que un laboratorio califique su propia liberación.
Y el MCAS no quería nada. No tenía ningún modelo de los pilotos ni ninguna opinión sobre que lo apagaran. Era un modesto trozo de código con un reflejo burdo, y venció a todo el mundo.
Ahora toma la frase literalmente
El avión de la metáfora lleva a todo el mundo. No a 583, no a 346. A todos los vivos y a todos los que aún puedan nacer. No hay aeropuerto de desvío ni segundo fuselaje que modificar una vez que el primero se estrella. El ciclo de estrellarse, investigar y corregir que hizo seguro volar es asequible porque los accidentes son limitados y siempre hay un próximo vuelo al que aplicar la lección. Ejecutar ese ciclo con una superinteligencia artificial y el primer dato se lleva a los pasajeros y a los investigadores con él. El ensayo y error necesita supervivientes.
Este volaría solo, elegiría su propio destino y entendería al mecánico mejor de lo que el mecánico lo entiende. Cada salvaguarda en aviación asume que la máquina no tiene opinión sobre ser reparada. Esa suposición es el problema de control.
La aviación ganó su historial de seguridad estrellándose a una escala que el mundo podía absorber. Todo el método depende de que haya un próximo vuelo.
El terreno es una elección
La gente recurre a la frase para describir una situación sin salida: el avión ya está en el aire, así que más vale que aprendamos a construirlo en vuelo. La lección real de la aviación va en sentido contrario. El poder del regulador nunca fue principalmente la investigación. Fue el poder de mantener la aeronave en tierra. Un certificado de aeronavegabilidad es un permiso para despegar, retenido hasta que se presente el caso.
Nos dicen que la única opción es volar y resolverlo en el camino. Hay otra. Una prohibición vinculante y verificable de construir superinteligencia artificial es el estándar de la aviación aplicado con honestidad: no construir una mente más inteligente que sus creadores. La superinteligencia no se puede controlar, así que no despega. Ese es nuestro plan, y no le pide al mundo nada que el mundo no exija ya de un jet regional.