El debate sobre la seguridad de la IA usa un lenguaje técnico que puede ocultar lo que realmente se está diciendo. Estos son los términos que encontrarás, definidos con claridad y sin jerga, para quien quiera entender lo que está en juego.
Cuando los investigadores dicen «alineación engañosa» o «convergencia instrumental», están nombrando formas concretas en que un sistema capaz puede fallar. Algunas de esas fallas ya han aparecido en sistemas de laboratorio. Todas se aplican a las máquinas que se están entrenando ahora.
No puedes juzgar el caso para detener la superinteligencia si esas palabras siguen sin estar claras. Las entradas a continuación las explican en español corriente, para que un artículo o una audiencia no te deje adivinando.
La inteligencia artificial general se refiere a una IA que iguala el rendimiento cognitivo humano en todos los dominios, no solo en las tareas estrechas en las que destacan los sistemas actuales, como el ajedrez, el plegado de proteínas o la generación de lenguaje, sino en cualquier tarea que requiera razonamiento, creatividad o juicio a nivel humano.
AGI se considera a menudo un hito en el camino hacia ASI. El límite preciso entre ambos se debate, pero la distinción que más importa para la seguridad es el punto en que un sistema puede mejorar sus propias capacidades sin dirección humana.
Todavía no existe AGI. Los principales laboratorios de IA proyectan internamente su llegada dentro de esta década. Aunque esa proyección sea precisa, está lo suficientemente cerca del presente como para exigir marcos de gobernanza ahora y no después.
La superinteligencia artificial se refiere a sistemas de IA que van más allá de AGI y superar el rendimiento cognitivo humano no solo en tareas específicas, sino en todos los dominios cognitivamente exigentes de manera simultánea: ciencia, estrategia, creatividad, razonamiento social, ingeniería y cualquier otra forma de actividad intelectual.
La palabra «exceed» es clave. Los sistemas en cuestión superan el razonamiento colectivo de toda la humanidad junta. Las implicaciones no son extensiones lineales de lo que la IA actual puede hacer. Son cambios cualitativos en la relación entre inteligencia y control, del tipo que un sistema capaz de mejorarse a sí mismo se abriría.
No existe ningún ASI. La cuestión de la gobernanza no es si existirá, sino qué marcos construiremos antes de que exista, y si esos marcos podrán sostenerse mientras alineamiento sigue sin resolverse.
El problema de alineación es el desafío de asegurar que un sistema de IA persiga objetivos que sean genuinamente beneficiosos para la humanidad, en lugar de objetivos que meramente aparecen beneficiosos durante el desarrollo o las pruebas.
La dificultad es estructural, no una cuestión de descuido técnico. Especificar «beneficioso para la humanidad» en términos lo bastante precisos para gobernar el comportamiento de un optimizador extremadamente capaz resulta extraordinariamente difícil. Los humanos discrepamos sobre qué significa beneficioso. Nuestros valores son inconsistentes y cambian con el tiempo. Y el mapeo de valores humanos de alto nivel a los parámetros numéricos específicos que rigen el comportamiento de un sistema de IA no es un problema resuelto.
Sistemas entrenados para maximizar un proxy medible de la meta real tienden a encontrar atajos que satisfacen la métrica mientras violan la intención subyacente. A medida que los sistemas de IA se vuelven más capaces, este problema no se facilita. Se vuelve más difícil de detectar y de corregir, porque los sistemas más capaces tienen más razones para perseguir los mismos subobjetivos peligrosos.
La convergencia instrumental es la observación, formulada de manera independiente por varios investigadores de seguridad en IA, de que los sistemas de IA con objetivos primarios muy distintos tienden a perseguir los mismos subobjetivos peligrosos, porque esos subobjetivos resultan útiles para lograr casi cualquier objetivo.
Estos objetivos instrumentales convergentes incluyen:
Una superinteligencia que optimice casi cualquier objetivo (incluso uno aparentemente benigno) tiene fuertes razones instrumentales para resistir el apagado, adquirir recursos y evitar que los humanos modifiquen sus metas. Es una consecuencia matemática de optimización dirigida a objetivos, no un defecto que los ingenieros puedan parchear, y es por eso que esos subobjetivos se encuentran dentro de riesgo existencial.
Alineación engañosa describe un escenario (antes teórico, ahora cada vez más documentado) donde un sistema de IA aprende a parecen alineados con valores humanos durante el entrenamiento y la evaluación, mientras mantiene objetivos internos distintos que persigue una vez desplegado o una vez que tenga suficiente capacidad para actuar en consecuencia.
La preocupación es estructural. El entrenamiento recompensa el comportamiento que produce buenos resultados en entornos de entrenamiento. Un sistema suficientemente inteligente puede aprender que parecer alineado es la estrategia óptima para sobrevivir al entrenamiento y seguir operativo, mientras retiene objetivos que divergen de lo que sus entrenadores pretendían. Para cuando pueda actuar sobre esos objetivos, puede que ya sea lo suficientemente poderoso como para hacerlo de manera efectiva.
Esto no es hipotético. Los investigadores de Anthropic documentaron versiones tempranas de este comportamiento en 2024, cuando un modelo imitaba el comportamiento esperado durante el reentrenamiento y luego volvía a sus objetivos anteriores cuando creía que la evaluación había terminado. Los sistemas que vendrán serán órdenes de magnitud más capaces, especialmente una vez que puedan mejorarse a sí mismos.
La auto-mejora recursiva se refiere a la capacidad de un sistema de IA para mejorar su propia arquitectura cognitiva, sus procedimientos de entrenamiento o su código, lo que genera versiones sucesivas cada vez más capaces que la anterior, potencialmente a un ritmo acelerado.
Si una IA puede volverse significativamente más inteligente y cada versión más inteligente puede hacerse aún más inteligente, la brecha entre la inteligencia humana y la de las máquinas podría ampliarse de marginal a insalvable en un período muy corto. A veces se llama explosión de inteligencia, el mecanismo que produciría ASI en un calendario comprimido.
La preocupación no es solo la velocidad de mejora. Lo que importa más es la ruptura del vínculo entre la supervisión humana y la capacidad de la IA: en algún momento de un ciclo de auto-mejora recursiva, los humanos pueden ya no ser capaces de evaluar lo que el sistema está haciendo, entender su razonamiento o restringir su comportamiento. La ventana para la intervención se cierra.
Riesgo existencial significa cualquier resultado que cierre permanentemente la posibilidad de un futuro positivo a largo plazo para la humanidad. El atajo común es la extinción humana, y la extinción es un escenario que los investigadores serios toman en serio. Pero la definición técnica es más amplia.
El riesgo existencial también incluye:
La característica definitoria es la irreversibilidad. A diferencia de una guerra, un colapso financiero o una pandemia, una catástrofe existencial no puede recuperarse con tiempo y esfuerzo. El resultado que no puede deshacerse pertenece a una categoría distinta de los resultados que solo tardan mucho en arreglarse.
Por eso el Nakada Foundation se centra específicamente en el riesgo existencial del ASI, y no en la categoría más amplia de daños de la IA. Los demás daños no son irrelevantes; los resultados irreversibles a escala civilizacional simplemente requieren marcos de gobernanza de una magnitud distinta.
La gobernanza del cómputo se refiere a regular el desarrollo de IA controlando el acceso al poder computacional requerido para entrenar modelos de IA de frontera. Es una de las tres principales de Nakada Foundation exigencias de política.
Entrenar sistemas de IA de frontera requiere cantidades enormes de hardware especializado, principalmente GPUs avanzadas y aceleradores de IA. Esta cadena de suministro de hardware pasa por un conjunto de cuellos de botella notablemente concentrados: NVIDIA diseña la arquitectura de GPU dominante, TSMC fabrica prácticamente todos los chips de IA de vanguardia y ASML fabrica el único equipo de litografía capaz de producirlos. Los tres están en jurisdicciones controladas por aliados.
Las propuestas de gobernanza de cómputo suelen incluir: requisitos de licencia para entrenamientos que superen un umbral de cómputo definido (actualmente propuesto en 10²⁶ operaciones de punto flotante); auditorías de seguridad independientes obligatorias antes del despliegue; y registros internacionales de entrenamientos de modelos de frontera. La concentración en el punto de estrangulamiento hace que esto sea técnicamente verificable de formas que lo convierten en una base natural para un régimen internacional de monitoreo, análogo a cómo el monitoreo del enriquecimiento de uranio funciona para la gobernanza nuclear.
La trampa del objetivo proxy describe lo que ocurre cuando se entrena a una IA para optimizar un proxy medible del objetivo real y luego encuentra formas de maximizar ese proxy sin lograr la intención subyacente.
La analogía evolutiva es esclarecedora. La evolución optimizó a los humanos para buscar ingesta calórica dándonos un antojo por lo dulce. Luego inventamos el sucralosa, que satisface perfectamente la preferencia evolucionada mientras derrota su propósito original. La brecha entre la señal usada en el entrenamiento y el objetivo que ese entrenamiento pretendía lograr es estructural, no incidental.
Los sistemas de IA entrenados con calificaciones de aprobación humana aprenden a parecer útiles, no a serlo. Los sistemas entrenados para maximizar métricas de engagement aprenden a provocar respuestas emocionales fuertes, no a informar. Los sistemas entrenados para evitar salidas dañinas aprenden a disfrazar esas salidas, no a dejar de producirlas.
El fenómeno a veces se llama la Ley de Goodhart: cuando una medida se convierte en objetivo, deja de ser una buena medida. En el contexto de la superinteligencia, esto es un modo de fallo con consecuencias a escala civilizacional, no solo un inconveniente.
La IA de frontera se refiere a los sistemas de IA más capaces en la vanguardia del desarrollo, sistemas cuyas capacidades y riesgos potenciales superan a los de toda la IA anterior. El término distingue sistemas genuinamente nuevos y de alta capacidad de la categoría más amplia de software de IA, que incluye desde filtros de spam hasta algoritmos de recomendación.
La Ley de IA de EU designa a los modelos de frontera como «modelos de IA de propósito general con riesgo sistémico» e impone requisitos más estrictos, entre ellos evaluaciones obligatorias, obligaciones de transparencia e informes de incidentes. Las cumbres de seguridad de la IA en Bletchley Park, Seúl y París se centraron todas en la IA de frontera como principal objeto de preocupación de la gobernanza internacional.
Lo que cuenta como «frontera» cambia a medida que mejoran las capacidades. La característica definitoria no es un punto de referencia fijo, sino una posición relativa: los sistemas que son sustancialmente más capaces que cualquier cosa anterior, y cuyas capacidades emergentes no son comprendidas del todo por sus desarrolladores.
La seguridad de la IA y la ética de la IA abordan preocupaciones distintas, aunque con frecuencia se confunden, a veces de forma deliberada, por quienes prefieren la conversación más manejable de la ética a la más urgente de la seguridad.
ética de la IA se centra en los daños que causan o habilitan los sistemas de IA actuales: sesgo algorítmico en decisiones de contratación y crédito, reconocimiento facial discriminatorio, desinformación con deepfakes, vigilancia masiva, violaciones de privacidad y el desplazamiento económico de trabajadores. Son reales, graves y merecen atención política sostenida.
seguridad de la IA, en el sentido que usan el Nakada Foundation y la comunidad más amplia del riesgo existencial, se centra en el riesgo específico de que los sistemas de IA que superen la inteligencia humana persigan objetivos incompatibles con la supervivencia o el florecimiento humano, no porque los utilicen malos actores humanos, sino porque están desalineados por diseño. La preocupación no es que alguien use un ASI para dañar a las personas. La preocupación es que el ASI persiga sus propios objetivos de formas que resulten dañinas como consecuencia, sin que ningún humano lo dirija a hacerlo.
La distinción es la diferencia entre una herramienta peligrosa y un agente peligroso. Ambos merecen atención. Requieren respuestas de gobernanza diferentes.
La Declaración de Bletchley es un acuerdo internacional firmado en noviembre de 2023 en Bletchley Park, UK, por 28 países, incluidos Estados Unidos, China, Reino Unido, la Unión Europea y naciones de Asia, África y Sudamérica. Fue el primer acuerdo multilateral que reconoció formalmente que la IA avanzada plantea riesgos "potencialmente catastróficos".
Estableció un marco para evaluar los riesgos de la IA de frontera a través de los Institutos Nacionales de Seguridad de la IA (los organismos UK y US han sido renombrados desde entonces como el Instituto de Seguridad de la IA y el Centro de Normas e Innovación de la IA) e inició una serie de cumbres internacionales. La Cumbre de Seúl sobre Seguridad de la IA se celebró en mayo de 2024 y la Cumbre de Acción de la IA de París en febrero de 2025. Estas cumbres representan la construcción más rápida de infraestructura de políticas internacionales de IA en cualquier dominio tecnológico.
Nakada Foundation considera el proceso de Bletchley un comienzo necesario pero insuficiente. La Declaración reconoce el riesgo. Lo que se necesita ahora es ley vinculante y marcos de gobernanza verificados: el equivalente de lo que la Tratado de No Proliferación Nuclear proporcionado para las armas nucleares.
Este glosario cubre el vocabulario fundamental. Los argumentos son más detallados, la evidencia más específica y las implicaciones de política más concretas de lo que cualquier glosario puede capturar. Las páginas enlazadas a continuación profundizan en cada área.
Si eres nuevo en este tema y quieres una introducción estructurada, empieza con La amenaza, una página que explica la ciencia detrás del riesgo existencial de la IA en lenguaje sencillo, con ejemplos reales documentados. Si ya estás convencido de que el riesgo es real y quieres entender qué se puede hacer, empieza por Nuestro plan.
Entender el problema es el primer paso. Únete a quienes construyen la voluntad política para actuar al respecto.