La gente usa AGI y ASI como si fueran sinónimos, nombres de marca o luces de ambiente de ciencia ficción. No es así. La distinción importa porque el problema de control y las herramientas políticas cambian conforme se asciende en la escala, y porque los laboratorios tienen incentivos para parecer cerca de "AGI" para conseguir fondos, mientras se muestran lejos del peligro para la regulación.
Definiciones sencillas
IA estrecha está construida para un trabajo delimitado: recomendar videos, plegar proteínas, detectar tumores. Puede ser excelente y aun así no ser un agente general.
AGI (inteligencia artificial general) significa competencia amplia y flexible en muchas tareas a un nivel aproximadamente humano, con suficiente agencia para perseguir objetivos en lugar de solo responder indicaciones. Las definiciones varían, pero la idea clave es generalidad más autonomía usable.
ASI (inteligencia artificial superinteligente) significa un rendimiento cognitivo que supera con creces al de los humanos en casi todos los dominios que importan para la ciencia, la estrategia y el poder. No es «AGI más un diez por ciento». Es una ruptura cualitativa en quién puede planificar mejor que quién.
Una escalera, no dos contenedores
Piensa en peldaños. Los modelos de frontera actuales son amplios pero desiguales, muy andamiados por humanos y mejoran rápido. Las pilas agenticas (herramientas, memoria, bucles de planificación) pueden hacer que un modelo base actúe con mucha más autonomía de lo que sugiere una caja de chat. La agencia de clase AGI ya es un problema grave de control y societal si está desalineada. ASI es ventaja decisiva: ciencia más rápida, mejor estrategia, mejor explotación del sesgo humano, apagado más difícil.
La superinteligencia de dominio es noticia vieja. Un sistema puede aplastar a los humanos en ajedrez o plegamiento de proteínas y seguir siendo estrecho. La superinteligencia estratégica entre dominios es el peldaño que este sitio existe para prevenir.
Por qué "nos detendremos en AGI" es inestable
Supongamos que un laboratorio alcanza sistemas generales de nivel humano controlables. La presión para avanzar más no desaparece. La ventaja militar, el margen comercial y el prestigio apuntan todos hacia arriba en la escalera. Las dinámicas de carrera premian al actor menos cauteloso. La historia de la carrera se usa a menudo para justificar la velocidad; no justifica el control.
Medición sin marketing
Los benchmarks caen; los comunicados de prensa suben. Las evaluaciones de capacidades peligrosas intentan medir ofensiva cibernética, asistencia biológica, replicación autónoma y persuasión en condiciones controladas. Ayudan. No son un caso de seguridad completo, sobre todo si un sistema puede saco de arena. La política debería basarse en la computación, pruebas de capacidad y autonomía, no en lo que las empresas llaman el producto.
Mitos que hacen perder el tiempo
AGI no requiere un cuerpo robótico. Las herramientas remotas y las máquinas existentes mueven el mundo físico. La conciencia es una cuestión distinta de la capacidad y el control. "Nivel humano" no es un solo número: una persona promedio, un equipo de especialistas y lo mejor institucional de la humanidad son barras distintas. El AGI relevante para la seguridad se refiere a la agencia general de resolución de problemas bajo incentivos reales, no a una sola puntuación de examen.
¿Qué se convierte en ley?
Si la ley solo restringe sistemas etiquetados como «AGI» o «ASI», las empresas los renombrarán. Los buenos desencadenantes son operativos: tamaño del entrenamiento, autonomía de herramientas, resultados de capacidades peligrosas, liberación de pesos abiertos de modelos generales de alto nivel. La IA estrecha que siga siendo una herramienta debe continuar. La línea que traza esta Fundación es la superinteligencia artificial y los programas dirigidos a ella.
Cómo decirlo en un minuto
IA estrecha: herramientas. AGI: agencia general de nivel humano, ya un problema serio de control si es autónoma y desalineada. ASI: cognición artificial que nos supera en todos los ámbitos. Podemos conservar las herramientas. No deberíamos construir la mente soberana. La superinteligencia no puede controlarse. La petición está en nuestro plan.