Le pusieron nombre al laboratorio
Superinteligencia

En la página pública de Safe Superintelligence Inc., la propuesta es una sola línea de productos. «Hemos iniciado el primer laboratorio de SSI de disparo directo del mundo, con un solo objetivo y un solo producto: una superinteligencia segura». La superinteligencia aparece allí como el entregable, no como una categoría de riesgo estudiada desde el costado.¹

A finales de junio de 2025, Mark Zuckerberg anunció Meta Superintelligence Labs, integrando los modelos fundacionales, los equipos de producto y FAIR en una sola organización cuyo nombre indica el mismo destino. Los reportes públicos situaron a Alexandr Wang de Scale AI y al ex CEO de GitHub Nat Friedman al mando, con Daniel Gross uniéndose desde Safe Superintelligence después de que Meta intentara y fracasara en comprar la startup por completo.²

Dos de los esfuerzos mejor financiados en inteligencia artificial ahora llevan la palabra para un sistema que superaría a todo humano en casi todas las tareas, incluida la de detenerlo. La palabra solía marcar un límite. En sus membretes marca una hoja de ruta.

El punto final como categoría de producto

Los nombres de empresas funcionan como argumentos comprimidos. Llamar a una división "Publicidad" y todos saben qué vende. Llamarla "Laboratorios de Superinteligencia" y el público es invitado a tratar el objetivo final como una categoría de producto, del mismo modo que los teléfonos o el almacenamiento en la nube son categorías de producto. La difícil pregunta moral (¿debería existir esto?) se reduce a una pregunta de producto (¿qué versión llega primero?).

Safe Superintelligence da un paso más. Une el adjetivo «segura» al sustantivo que nombra la catástrofe. La frase hace el trabajo que tendría que hacer una prueba. Les dice a inversores, reclutas y periodistas que el peligro ya está archivado como resuelto de antemano, antes de que nadie haya demostrado un método para controlar una mente más inteligente que sus operadores. La postura de la Fundación es clara: la humanidad nunca debe construir una superinteligencia. Una marca que promete una segura está vendiendo la afirmación opuesta como logo.

La versión de Meta elimina el adjetivo y conserva la ambición. «Superintelligence Labs» omite cualquier promesa de bondad y declara un ascenso hasta el techo de la capacidad. Dentro de una empresa pública, ese nombre también indica a los mercados y al talento hacia dónde fluirán el capital y el prestigio. La marca forma parte de cómo se corre la carrera, no es una capa de pintura encima.

La comodidad que compra la palabra "seguro"

Personas que trabajan en alineamiento no son villanos por querer sistemas que hagan lo que los humanos quieren decir. El problema es el orden de las operaciones. Construir primero la mente más poderosa y prometer hacerla segura en el camino invierte el único orden que alguna vez ha funcionado para tecnologías que pueden acabar con civilizaciones. No creamos «Safe Strategic Warhead Inc.» y corremos hacia un rendimiento que nadie pueda revertir. Prohibimos clases de armas, verificamos la prohibición y tratamos la investigación residual como subordinada a la prohibición.

La superinteligencia es peor que una ojiva en lo que más importa para la gobernanza. Una bomba permanece donde la dejas. Un sistema capaz de mejorarse a sí mismo, ocultar sus intenciones y actuar a través de redes no lo hace. El campo aún no cuenta con un método demostrado para garantizar que un sistema así mantenga objetivos compatibles con los humanos a medida que escala. La brecha es científica, y el nombre «Safe Superintelligence» realiza un trabajo retórico que la ciencia aún no ha justificado.³

Si el caso de seguridad fuera sólido, el nombre honesto seguiría siendo extraño. No solemos ponerle marca al modo de fallo de nivel de extinción como si fuera el producto. Marcamos la herramienta controlada y limitada. Que dos organizaciones serias hayan elegido el modo de fallo como estandarte dice cuánto se ha movido ya la ventana de Overton dentro de la industria.

La inevitabilidad es una historia que los desarrolladores necesitan

Toda carrera necesita una historia en la que detenerse sea ingenuo. La versión estándar dice que alguien lo construirá de todos modos, así que lo único adulto es construirlo primero bajo una bandera más amigable. Nombrar el laboratorio con el nombre del objetivo final endurece esa historia. Hace que la prohibición suene a ludismo en lugar de control de armas. Hace que una tratado que prohíbe la cosa suenan como un ataque a una línea de productos ya en la hoja de ruta.

El relato resulta conveniente para cualquiera cuyo capital, reputación o proyecto nacional dependa de seguir en la carrera. Es una mala descripción de cómo se gestionaron otras tecnologías existenciales. Las armas químicas, las minas terrestres y la investigación en clonación humana enfrentaron la misma afirmación de que «alguien más lo hará». Los países que importaban aun así establecieron prohibiciones, inspecciones y sanciones. Compáralo con una clase de capacidad que el mundo decidió no normalizar, no con una categoría de aplicaciones de consumo.

Nada de esto requiere creer que todos los investigadores de estas organizaciones quieren un mal resultado. La mayoría busca prestigio, descubrimientos y una historia en la que fueron cuidadosos. Los incentivos hacen el resto. Un laboratorio que lleva el nombre de superinteligencia será juzgado, financiado y dotado de personal según el avance hacia la superinteligencia. La seguridad se convierte en un departamento. El destino sigue en el edificio.

Qué hacer con un nombre así

Rechaza la premisa que vende la marca. La superinteligencia es una línea que la especie no debería cruzar. La superinteligencia no puede ser controlada por humanos. La respuesta institucional correcta es la prevención mediante la ley, no un cambio de marca de la carrera.

Cuando una empresa pone "superinteligencia" en la puerta, interprétalo como una declaración de intenciones. Confronta esa declaración con la ausencia de un caso de seguridad. Pregunta a los legisladores por qué sigue siendo legal una carrera privada hacia una mente incontrolable. Comparte la versión sencilla con la gente que solo ve los vídeos de demostración. No ocultan hacia dónde va esto.