Ninguna noche tiene que acabar con la historia humana. Las decisiones pueden migrar a sistemas que fijan precios, aprobaciones, logística y atención hasta que las elecciones sigan ocurriendo y la autoría no. Esa deriva es el empoderamiento gradual. Es más silenciosa que un golpe y más fácil de pasar por alto mientras avanza.
En enero de 2025, seis investigadores publicaron un artículo argumentando que el evento puede nunca llegar, y que la humanidad podría quedar permanentemente marginada de todos modos. "Gradual Disempowerment: Systemic Existential Risks from Incremental AI Development", de Jan Kulveit, Raymond Douglas, Nora Ammann, Deger Turan, David Krueger y David Duvenaud, describe un fallo sin villano, sin fuga y sin un momento obvio en el que aún fuera posible detenerlo. Más tarde se presentó en ICML 2025 como un position paper, una señal de cuánto había viajado el argumento más allá de la comunidad de seguridad de la IA que primero lo circuló.
El artículo merece una lectura atenta, porque identifica una clase de riesgo para la que la mayor parte del trabajo de seguridad, incluido el que señalamos en este sitio, no está diseñado.
Por qué el mundo actualmente responde a las personas
El argumento comienza con una pregunta tan básica que rara vez se formula: ¿por qué los grandes sistemas sirven en absoluto a los intereses humanos? Una economía no tiene sentimientos hacia nosotros. Tampoco un Estado ni una cultura. En la medida en que sirven a las personas, lo hacen porque funcionan con personas. Las economías necesitan trabajadores y clientes. Los Estados necesitan contribuyentes, soldados, administradores y votantes. Las culturas necesitan mentes humanas que las creen, las lleven y las transmitan.
Esa dependencia da a las personas comunes dos tipos de control sobre la maquinaria. El primero es explícito: votos, compras, huelgas, demandas, renuncias. El segundo es más silencioso y probablemente importa más. Un sistema que necesita la participación humana debe mantener a los humanos capaces y dispuestos a participar. Tiene un interés, aunque impersonal, en que estemos alimentados, educados, sanos y al menos mínimamente contentos. El artículo llama a esto alineación implícita, y ha funcionado, de forma desigual pero persistente, a través de cada cambio tecnológico hasta ahora.
La IA rompe esa dependencia. Una vez que las máquinas puedan hacer el trabajo, tomar las decisiones, producir el contenido y librar las guerras, los sistemas que antes nos necesitaban ya no lo hacen. Esa frase no requiere que ninguna IA sea hostil ni siquiera especialmente capaz de planificación a largo plazo. Solo requiere que la IA sea lo bastante útil como para que entregarles las cosas siga teniendo sentido local.
Tres sistemas, derivando en la misma dirección
El documento rastrea el mecanismo a través de tres dominios, y el patrón se repite en cada uno.
La economía
El poder de negociación de los humanos en la economía proviene de ser necesarios como mano de obra y de ser cortejados como clientes. A medida que la IA absorbe el trabajo cognitivo, la mitad laboral de ese poder se reduce hacia cero. La mitad del cliente se erosiona más lentamente, pero también se erosiona: una proporción creciente de la actividad económica se vuelve de máquina a máquina, empresas que comercian con empresas, modelos que negocian con modelos, mientras el consumo humano representa una fracción cada vez menor de lo que el sistema optimiza. Los ingresos se concentran en quienes poseen el capital de IA. El voto económico de todos los demás se vuelve más pequeño.
El estado
Aquí el artículo recurre a una analogía histórica que tiene evidencia real detrás: el estado rentista. Los gobiernos financiados por el petróleo en lugar de por impuestos a los ciudadanos son, en promedio, notablemente menos democráticos y menos receptivos. Pueden permitírselo. Los ciudadanos no son de donde viene el dinero. Un Estado cuyos ingresos provienen de la industria impulsada por IA, cuya administración está automatizada y cuyas fuerzas de seguridad necesitan pocas manos humanas es un estado rentista respecto a toda su población. No tiene por qué convertirse en una tiranía. Simplemente deja de tener razones estructurales para importarle lo que quiere su gente, y las razones estructurales son las que se mantienen cuando se acaba la buena voluntad.
Cultura
La cultura suena como el caso blando, y el artículo sostiene que podría ser el más peligroso. Las ideas, las historias y las normas siempre han evolucionado bajo presión de selección, pero la selección pasaba por mentes humanas: una idea se extendía porque la gente la consideraba digna de repetirse. Cuando la mayor parte del contenido es generado, filtrado, recomendado y cada vez más consumido por máquinas, las ideas empiezan a evolucionar bajo una presión distinta, optimizadas para el engagement o la persuasión en lugar de servir a los humanos que las hospedan. La cultura es también la capa donde formamos nuestro sentido de lo que es normal y lo que vale la pena desear. Si esa capa está siendo moldeada por sistemas sin interés en el florecimiento humano, podríamos perder incluso la capacidad de querer resistir el resto de la deriva.
Los bucles que cierran las salidas
Cualquiera de estas tendencias podría ser detectada y corregida. El punto más oscuro del artículo es que los tres dominios se refuerzan mutuamente, por lo que las correcciones se vuelven más difíciles precisamente cuando se vuelven más necesarias.
El poder económico compra influencia política, por lo que los beneficiarios de la automatización se vuelven más eficaces a la hora de bloquear normas que la ralentizarían. Los Estados que compiten por crecimiento y ventaja militar cortejan el capital de la IA y aceleran la cesión; ningún gobierno quiere que sus rivales tengan centros de datos. La cultura moldeada por la IA normaliza cada nueva delegación, y las personas criadas en un entorno mediado por máquinas les cuesta imaginar una alternativa. La deriva de cada sistema elimina un freno a los demás. Es la misma trampa estructural que describimos en nuestro artículo sobre dinámicas de carrera, que opera dentro de las sociedades en lugar de entre ellas, y es por eso que el artículo trata el resultado final como potencialmente irreversible. La corrección requiere palancas. Las palancas son lo que se está perdiendo.
Nadie tiene que tomar el poder. Solo tenemos que seguir entregándoselo, una decisión razonable a la vez.
Por qué no hay alarma de incendio
Escenarios de toma de control, sea cual sea su probabilidad, al menos vienen con un detonante. Un sistema sorprendido mintiendo sobre sus intenciones, un giro traicionero, un intento de escape: estos son eventos, y los eventos pueden desencadenar respuestas. El desempoderamiento gradual no ofrece nada tan conveniente. Cada paso es voluntario. Cada paso es, de forma aislada, defendible. La empresa que automatiza a sus analistas supera a la que no lo hace. La agencia que deja que un modelo redacte sus regulaciones despeja su atraso. El político que usa mensajería optimizada por IA gana.
Quien se niega, por principio, a entregar su parte de la máquina simplemente pierde frente a quien no se niega, y la suma de todas esas decisiones individuales sensatas es una civilización que nadie eligió.
La idea tiene un linaje. El ensayo de Paul Christiano de 2019 «What Failure Looks Like» esbozó un mundo que termina con un gemido, donde los sistemas optimizan proxies de lo que queremos hasta que los proxies son todo lo que queda. Lo que añade el artículo de 2025 es estructura: mecanismos nombrados, la evidencia del Estado rentista, los bucles de retroalimentación entre dominios y la afirmación directa de que esto pertenece a la misma categoría que las amenazas de nivel de extinción, porque una pérdida permanente e irrecuperable de la influencia humana sobre el futuro es una catástrofe existencial, tanto si alguien muere el día que se vuelve irreversible.
Las objeciones más fuertes
El artículo ha atraído serias críticas, y algunas tienen fundamento.
Propiedad. La objeción más común: los humanos poseen el capital. Si la IA hace el trabajo, los retornos siguen fluyendo a los accionistas humanos, así que los humanos conservan el poder que importa. La respuesta es que la propiedad es un reclamo, respaldado por tribunales, registros, reguladores y, en última instancia, estados, que son exactamente las instituciones que el documento describe escapando del control humano, no un hecho físico. Un certificado de acciones vale lo que vale la aplicación detrás de él. Y aun si la propiedad se mantiene perfectamente, lo hace para un número notablemente pequeño de personas, lo que no es tanto una refutación al desempoderamiento como una descripción de él, con los valores de un grupo diminuto encerrados en para todos.
Adaptación. Las sociedades absorbieron la imprenta, la fábrica y la computadora, y la influencia humana sobrevivió. Pero cada una de esas tecnologías reemplazó tareas específicas mientras aumentaba el valor del juicio humano en otra parte del sistema. Un sustituto general de la cognición humana es el final de la escalera, no otro peldaño. La adaptación pasada pasó por mecanismos, nuevos empleos, nuevas coaliciones políticas y nuevos movimientos culturales, todos dependientes de que los humanos fueran necesarios en algún lugar. La nueva tecnología elimina esa premisa.
Simultaneidad. Los escépticos también señalan que la catástrofe requiere que la economía, el Estado y la cultura fallen juntos, y que sumar tres pronósticos inciertos debería reducir la probabilidad. Justo, salvo que los fallos no son independientes. Los bucles de retroalimentación son el punto. La misma variable subyacente, cuánto necesita cada sistema todavía a las personas, impulsa los tres, lo que hace que los fallos estén correlacionados y no sean coincidentes.
Donde los críticos resultan más convincentes, creemos, es en el ritmo y la exhaustividad: el artículo es un marco y dice poco sobre la velocidad a la que ocurrirá todo esto o qué instituciones cederán primero. Identifica una dirección de presión. No fecha la llegada.
Qué prevención implicaría realmente
La característica incómoda de este riesgo es que la agenda de seguridad estándar no lo toca. La alineación, en el sentido habitual, hace que cada sistema haga lo que su operador pretende. Todos los sistemas de la historia de desempoderamiento gradual pueden superar esa prueba mientras el agregado sigue derivando, porque el problema es una civilización que se reorganiza en torno a máquinas, obedientemente, no máquinas desobedientes. Ya hemos escrito antes sobre por qué la pérdida de control es un problema de sistemas en lugar de un problema de un solo modelo; este artículo es la declaración académica más fuerte de ese caso.
Las propuestas de los autores están en etapa inicial y ellos mismos lo dicen. Mide directamente la influencia humana sobre los sistemas clave, como las economías miden la inflación, para que la declinación sea visible mientras aún se pueda corregir. Fortalece los mecanismos que mantienen a las instituciones responsables ante la gente, la maquinaria poco glamorosa de supervisión democrática, divulgación y ley. Y desarrollar lo que llaman alineación de ecosistema: métodos para mantener las dinámicas a escala civilizacional, no solo modelos individuales, ancladas a las preferencias humanas.
A esa lista agregaríamos el elemento que el artículo insinúa pero no desarrolla. Todo lo anterior se ve socavado por la competencia. Un país que mantiene humanos en sus circuitos acepta fricciones que sus rivales rechazan, el mismo problema de acción colectiva que atraviesa todas las demás vías para perder el control, y tiene la misma forma de respuesta: acuerdos vinculantes que sacan de la mesa las formas más corrosivas de la carrera, verificados lo suficiente para que la contención no sea, en principio, un sacrificio competitivo. Eso es el trabajo que esta Fundación existe para promover.
El desempoderamiento gradual es, en un sentido, la versión más difícil del problema: una catástrofe construida enteramente a partir de decisiones localmente racionales. Es también, en otro sentido, alentador: a diferencia de un giro traicionero, ocurre con la lentitud suficiente para verlo, siempre que alguien esté midiendo, y con la lentitud suficiente para detenerlo, siempre que los mecanismos sigan funcionando cuando los necesitemos. La contribución del artículo es decir, de forma precisa y temprana, qué mecanismos hay que vigilar.