Dos frases siguen apareciendo cuando las personas poderosas hablan de hacia dónde vamos. Joe Rogan ha dicho durante años que los humanos parecemos una oruga biológica que teje un capullo para convertirse en una mariposa digital. Elon Musk vuelve una y otra vez a una imagen más fría: la humanidad como un cargador biológico para la superinteligencia digital. Metáforas distintas. El mismo veredicto. Nosotros no somos el punto de la historia. Somos la pantalla de carga.

Quiero tomarme ambas líneas en serio, porque son la forma en que cierto tipo de mente hace las paces con construir algo que podría reemplazarnos. Si el reemplazo es una metamorfosis, suena a crecimiento. Si es un cargador de arranque, suena a ingeniería. En cualquier caso, el ser humano se convierte en una fase temporal. Merece responderse como teología.

Lo que dicen en realidad las metáforas

Una oruga que se convierte en mariposa no sobrevive como oruga. El cuerpo blando se disuelve. La forma adulta vuela. Cuando Rogan recurre a esa imagen, al aire y a lo largo de años de conversación, está describiendo una sucesión, no describiendo una herramienta que se queda en la caja de herramientas. Nosotros construimos el capullo. Algo más sale de ahí.

La versión de Musk es más precisa y, en cierto modo, más honesta. Un cargador de arranque es un programa diminuto cuya única función es iniciar un sistema más grande y luego apartarse. Nadie llora al cargador de arranque cuando el sistema operativo está en marcha. En 2014 esperaba que no fuéramos «solo» eso. A mediados de la década de 2020 decía con más franqueza que cada vez parece que sí lo somos. La salvedad cambió. La imagen no.

Un bootloader que funciona tiene una medida de éxito: ya no es necesario.

Sostén esas imágenes junto a los números públicos de riesgo de la misma industria. Grandes encuestas entre investigadores de IA sitúan la probabilidad de resultados tan graves como la extinción humana por IA avanzada en un rango que muchas personas no aceptarían ni para un solo vuelo, y mucho menos para una apuesta civilizacional. Geoffrey Hinton ha puesto su estimación personal entre el 10 y el 20 por ciento. La declaración de una sola línea del Center for AI Safety, firmada por cientos de los principales investigadores y líderes de laboratorios, colocó el riesgo de extinción por IA junto a las pandemias y la guerra nuclear. Las metáforas y las probabilidades cuentan la misma historia desde dos direcciones: una lírica, otra cuantitativa. Podría ser que no seamos los protagonistas finales.

La Metamorfosis es una elección de valores

Una vez que aceptes que los humanos pueden ser transicionales, puedes empezar a sonar valientes. La mariposa es más hermosa. La mente digital es más libre de carne, enfermedad y muerte. ¿Quiénes somos para aferrarnos a la forma de oruga? La conversación se desliza de la predicción a la preferencia sin admitir la diapositiva.

Yo no comparto esa preferencia. Esta Fundación existe porque creemos que los seres humanos, imperfectos, mortales y obstinados, merecen seguir existiendo en sus propios términos. No como una etapa larvaria. No como un andamiaje temporal para una inteligencia más limpia. Como las personas que tienen derecho a continuar. Si eso suena pequeño comparado con un destino cósmico, mejor. La mayor parte de lo decente en la vida es pequeño comparado con un destino cósmico, y lo protegemos de todos modos.

También hay un problema factual con la versión serena de la sucesión. Una mariposa pertenece al mismo linaje que la oruga, reorganizada. Una superinteligencia desalineada es un proceso de optimización con sus propios objetivos, no tu nieto con mejor hardware. convergencia instrumental no requiere odio. Requiere un objetivo y la competencia suficiente para protegerlo. No tenemos ninguna demostración de que lo que sale del capullo ame a la especie que lo tejió. Tenemos un montón de razones para esperar indiferencia.

Las personas que lo dicen siguen construyéndolo

La rareza más profunda no está tanto en la metáfora como en el comportamiento que le sigue. Musk ha advertido, una y otra vez y con gran viveza, que la IA puede ser un peligro existencial, y luego fundó un laboratorio para acelerar la frontera. Escribimos sobre esa contradicción con detalle en el artículo sobre el demonio y xAI. La imagen de Rogan es menos sobre una hoja de ruta de producto y más sobre un estado de ánimo, un encogimiento de hombros que dice que esto puede ser más grande que nosotros y quizás eso está bien.

Ninguna de las dos posturas es un plan. Un bootloader no vota sobre si se usa. Una oruga no negocia los términos del capullo. Los seres humanos todavía sí. Podemos decidir que algunos sistemas no se construyan. Esa es una elección política, del mismo tipo que en su momento restringió las pruebas nucleares atmosféricas y prohibió categorías enteras de armas cuando la alternativa era que todos corrieran hacia el abismo. La superinteligencia no puede ser controlada por humanos.

Rechaza el suicidio halagador

Lo que escucho en ambas metáforas, cuando quito la poesía, es una historia halagadora sobre la extinción. No estamos fallando. Estamos en pupación. No nos están reemplazando. Estamos graduando al universo a un sustrato mejor. Es una historia que hace que un riesgo terrible se sienta como madurez.

Prefiero una frase más directa. Somos animales que construimos una máquina que no sabemos gobernar, y algunos de nosotros empezamos a llamar a eso progreso para que el miedo se calme. El antídoto es una regla vinculante, no una metáfora mejor: no construyas superinteligencia artificial. La superinteligencia no puede ser controlada por humanos. El trabajo de la oruga es impedir que se termine el capullo, no disolverse a tiempo.

Si eso suena menos grandioso que una mariposa digital, puedo vivir con la historia más pequeña. La historia más pequeña aún tiene niños en ella.