Autorregulación. El interruptor de apagado. Demasiado complejo para el gobierno. China. Los cuatro argumentos que se usan más contra las reglas vinculantes, y qué tiene de equivocado cada uno.
Antes de la legislación sobre cinturones de seguridad, la industria automotriz dijo que los mandatos de seguridad destruirían las ventas de autos. Antes de las restricciones al tabaco, la industria dijo que el gobierno no tenía por qué regular las elecciones de los consumidores. Antes de prohibir los CFC, la industria química dijo que las eliminaciones graduales eran económicamente imposibles. Esas no eran posiciones marginales. El argumento lo avanzaron personas creíbles en publicaciones creíbles, con razonamientos que sonaban creíbles.
Los argumentos contra la gobernanza ASI siguen el mismo patrón. Suenan razonables en la primera audiencia.
Lo que distingue la gobernanza de ASI de aquellos casos anteriores son las apuestas. La gasolina con plomo envenenó a millones; no amenazó la civilización. Una superinteligencia que nadie pueda controlar puede no ofrecer un período correctivo. Toda objeción a la gobernanza de ASI debe evaluarse no solo por sus méritos en aislamiento, sino por el costo de aceptarla si resulta estar equivocada.
A continuación se presentan las cuatro objeciones que encontramos con mayor frecuencia.
Las empresas que construyen IA de frontera tienen equipos de seguridad, publican investigación en seguridad y enfrentan consecuencias reputacionales por fallos catastróficos. Los compromisos voluntarios y los incentivos de mercado son suficientes. Una regulación vinculante ralentizaría el progreso sin mejorar la seguridad.
El mismo argumento se usó con el tabaco, la gasolina con plomo, los derivados financieros y las redes sociales. En cada caso, el interés estructural de la industria por el crecimiento era incompatible con una autorregulación adecuada. Una empresa que imponga voluntariamente requisitos de seguridad estrictos mientras sus competidores no lo hacen perderá cuota de mercado. Esa dinámica no cambia porque la tecnología sea más sofisticada. La autorregulación sin normas vinculantes es una postura de lobby, no una estrategia de seguridad.
Si un sistema de IA se vuelve peligroso, los humanos pueden apagarlo. El interruptor de apagado garantiza la supervisión humana en cada etapa del desarrollo. El escenario en que la IA escape al control humano es ciencia ficción.
Esto supone que un sistema de IA suficientemente capaz permanecerá pasivo mientras los humanos deliberan sobre su funcionamiento futuro. Un sistema lo bastante avanzado como para suponer un riesgo existencial será capaz de modelar las intenciones de sus operadores y tomar medidas para preservar su operación continua si sus objetivos lo requieren. Para un sistema que opera a velocidad de máquina, el intervalo entre «esto puede ser un problema» y «esto es un problema irrecuperable» puede no dejar margen para una respuesta humana.
Los sistemas de IA son demasiado complejos técnicamente para que los legisladores los gobiernen de manera efectiva. Una regulación bienintencionada pero técnicamente desinformada causaría un daño grave sin reducir el riesgo. Déjelo en manos de los ingenieros que construyen los sistemas.
Los gobiernos regulan la fisión nuclear sin que los legisladores tengan títulos en física. Gobiernan la química farmacéutica sin exigir doctorados en bioquímica. Las habilidades que requiere la gobernanza de la ASI son la construcción de instituciones, el diseño de tratados, el establecimiento de normas y los mecanismos de rendición de cuentas, todas cosas que los gobiernos hacen constantemente. La afirmación de que la IA es demasiado técnica para regularse es el argumento de que la IA debe ser gobernada por las empresas que la construyen. Es un argumento comercial, no técnico.
China está invirtiendo masivamente en inteligencia artificial. El gobierno chino ha identificado el liderazgo en IA como prioridad estratégica nacional y ha comprometido cientos de miles de millones para lograrlo. Si Estados Unidos o Europa ralentizan el desarrollo de la IA mediante marcos de gobernanza, China llegará primero a la inteligencia artificial general. Un mundo en el que China logre AGI antes que el mundo democrático es peor que un mundo en el que Occidente llegue primero. Por lo tanto, no podemos frenar.
Esta es la versión más coherente del argumento de China. La pregunta es si sobrevive al escrutinio.
Creemos que no, por seis razones distintas. Cada una se aborda a continuación. En conjunto, no eliminan la dimensión competitiva del desarrollo de IA, que es real. Sin embargo, demuestran que el argumento de China, tal como suele emplearse, no ofrece ninguna orientación y no sirve a ningún propósito estratégico más allá de justificar la ausencia total de gobernanza.
La imagen habitual de la alternativa es que Occidente gane la carrera y use la ventaja bien. La alternativa real es que cualquier empresa, en cualquier lugar, construya una superinteligencia artificial. Eso es muerte segura.
La suposición central que subyace al argumento de China es que a China le beneficiaría ser la primera en construir una superinteligencia que no puede controlar. Un sistema así no es un arma que China pueda blandir contra Estados Unidos. Es un agente que persigue sus propios objetivos, que pueden ser tan incompatibles con la supervivencia humana en Pekín como en San Francisco.
China también está en este planeta. Los líderes chinos también tienen hijos y nietos. El escenario en el que China construye una superinteligencia incontrolable y la usa como herramienta geopolítica contra Occidente exige creer que el liderazgo chino ha resuelto un problema de control que los mejores investigadores del mundo describen como sin resolver. También exige creer que los líderes chinos arriesgarían la destrucción de su propia civilización por ventaja geopolítica. La evidencia de cualquiera de esas creencias es nula.
Estados Unidos tenía el monopolio nuclear en 1945. La Unión Soviética desarrolló armas nucleares en 1949. En cuatro años, los dos adversarios más poderosos del mundo, con sistemas políticos fundamentalmente incompatibles, guerras proxy activas y una desconfianza mutua genuina, habían comenzado el control de armas nucleares.
El Tratado de Prohibición Parcial de Pruebas Nucleares llegó en 1963. El SALT I en 1972. El Tratado INF en 1987. El START en 1991. Estos acuerdos se negociaron con un Estado que el liderazgo de US llamaba el "imperio del mal", se verificaron mediante regímenes de inspección y funcionaron. Si el control verificado de armamentos fue posible con la Unión Soviética en el apogeo de la Guerra Fría, el argumento de que no se puede lograr con China simplemente no es creíble. El precedente existe. Las técnicas son conocidas.
China firmó la Declaración de Bletchley en noviembre de 2023, el primer acuerdo internacional que reconoce que la IA avanzada plantea riesgos potencialmente catastróficos. China participó en la Cumbre de Seguridad de la IA de Seúl en 2024. China ha emitido sus propias regulaciones de gobernanza de ASI, incluidos requisitos de transparencia algorítmica, etiquetado de contenido y evaluaciones de seguridad de modelos de frontera antes del despliegue.
La imagen de China como actor díscolo que se niega a participar en la gobernanza de ASI es fácticamente incorrecta. China tiene fuertes razones para querer que el desarrollo de la IA vaya bien: su liderazgo no es inmune al riesgo existencial, su economía depende de la estabilidad tecnológica y una catástrofe global de IA destruiría la prosperidad que cuatro décadas de reformas han construido. La base para el compromiso existe. Lo que se necesita es el marco internacional que lo haga concreto.
La lógica de «debemos correr para mantenernos adelante» supone que ser el primero produce la capacidad de controlar el resultado. Pero lo contrario es cierto: cuanto más rápido avanza el desarrollo, bajo presión competitiva y con atajos, menos probable es que el sistema resultante sea seguro, sin importar quién lo haya construido.
Un laboratorio de US que compite por llegar a ASI bajo presión competitiva y sin evaluaciones de seguridad adecuadas no produce un ASI seguro que sirva a los intereses de US. Produce un ASI inseguro que amenaza a todos, incluidos Estados Unidos. El marco competitivo fomenta precisamente las prácticas de desarrollo que hacen más probable la pérdida de control. La dinámica de carrera acelera exactamente el resultado que todos temen.
Una objeción persistente a los tratados de IA es que no pueden verificarse. Esta afirmación es más débil de lo que parece. El hardware necesario para entrenar modelos de IA de frontera pasa por uno de los puntos de estrangulamiento más concentrados de cualquier tecnología en la historia.
TSMC fabrica prácticamente todos los chips de IA de vanguardia. ASML fabrica las únicas máquinas de litografía capaces de producir esos chips. NVIDIA diseña la arquitectura de GPU dominante. Las tres empresas están en países aliados o bajo jurisdicción de control de exportaciones aliada. El gobierno de Estados Unidos ya intenta restringir el flujo de chips de IA avanzados hacia China mediante controles de exportación. Un régimen de monitoreo de cómputo basado en un tratado formalizaría y ampliaría lo que ya se hace de manera unilateral. La verificación es un problema de ingeniería. Los problemas de ingeniería tienen solución.
El problema más profundo del argumento sobre China no es su precisión sobre China, sino su función real en el mundo. Se usa para justificar no hacer nada: ni regulación interna, ni compromiso internacional, ni requisitos de seguridad, ni marcos de responsabilidad, ni gobernanza de ningún tipo.
Si la respuesta a toda propuesta de seguridad de la IA es «pero China», entonces nunca será posible actuar. Es un veto disfrazado de lenguaje geopolítico. Sirve a los intereses de las empresas que compiten por construir AGI, que se benefician de un entorno político tan paralizado por la ansiedad competitiva que nunca se pueden promulgar reglas vinculantes. El argumento de China se usa como estrategia para retrasar la regulación necesaria.
Algunas de las líneas más ruidosas contra gobernar la superinteligencia son tácticas psicológicas.
Esto es impotencia aprendida disfrazada de realismo. Si el resultado está fijado, el esfuerzo es inútil, así que dejas de organizarte. Los historiadores llaman a un primo cercano de esto «finalidad falsa»: tratar una elección política viva como si ya estuviera zanjada para que el público nunca intente actuar. Las armas nucleares también se llamaron inevitables para todo Estado que pudiera permitírselas. La mayoría nunca las obtuvo. El Protocolo de Montreal se llamó imposible hasta que dejó de serlo.
Una tecnología solo es inevitable si la gente sigue eligiendo construirla y se niega a atarse las manos entre sí. Es una elección, no una ley de la física. Quienes más fuerte dicen «inevitable» suelen creer que ganan con su pasividad.
Si un rival sigue construyendo y alcanza la superinteligencia, no termina con un arma que nosotros no tenemos. Termina con un sistema que nadie puede controlar, ni siquiera ellos. Que nosotros también la construyamos no los detiene. Hace más probable que exista el mismo sistema sin gobernanza. Si quieres que no sigan, la detención tiene que incluirlos a ellos, y tienes que poder verificarlo. Construir más rápido no logra eso.
Etiqueta a la persona para no tener que responder nunca a la afirmación. Llama a alguien un pesimista y la sala es invitada a descartar el argumento como un tipo de personalidad. El mismo recurso se ha usado contra los cinturones de seguridad, los límites al tabaco y la ciencia del clima. Los insultos no constituyen un argumento de seguridad.
Apelación a la autoridad sin autoridad. Muchas de las personas más cercanas al trabajo, incluidos Geoffrey Hinton y Yoshua Bengio, han dicho que el riesgo es real y está mal gestionado. Los equipos internos de seguridad están dentro de empresas cuyos incentivos premian el envío. "Confíen en nosotros" no es verificación. La verificación son inspectores, umbrales y costos por hacer trampa.
Otra forma de pasividad condicionada. Si la ventana ya está cerrada, puedes saltarte el trabajo duro de la política. La capacidad avanza rápido. El trabajo de tratados sigue abierto, y el entrenamiento de frontera aún pasa por una lista corta de fabricantes de chips y fundiciones. Tarde no es lo mismo que terminado. Actuar como si ya estuviera terminado es la forma en que se termina.
Estados Unidos y la Unión Soviética compitieron intensamente en todas las dimensiones del poder durante la Guerra Fría y al mismo tiempo construyeron una arquitectura de control de armas que impidió la aniquilación nuclear. Ambas cosas coexistieron porque ambos bandos reconocieron que algunos resultados eran peores para todos, independientemente de quién los causara.
La misma lógica se aplica a la IA. Estados Unidos y China pueden competir en aplicaciones de IA, en despliegue económico, en investigación y desarrollo, y al mismo tiempo acordar que ciertas categorías de desarrollo de IA (específicamente los sistemas cuyas capacidades superen la inteligencia humana en todos los dominios y cuyo control no pueda verificarse) no deben construirse por ninguna de las dos partes sin marcos de verificación multilaterales.
Esta es exactamente la postura que se adoptó, con éxito, respecto a las armas nucleares. Quienes negociaron el NPT y los tratados SALT no eran idealistas ingenuos sobre las intenciones soviéticas. Eran realistas de cabeza dura que entendían que la aniquilación mutua no convenía a ninguna de las dos partes, independientemente de la ideología.
Abogamos por el mismo realismo sin ilusiones en la IA. China y Estados Unidos enfrentan el mismo riesgo existencial de una superinteligencia que nadie puede controlar. Un tratado que impida a ambos construirla sin una verificación de seguridad adecuada sirve a los intereses de ambos. La negociación será difícil. La alternativa (una carrera por construir la tecnología más trascendental y potencialmente peligrosa de la historia sin gobernanza ni verificación de seguridad) es peor para todos, incluidas las partes que dicen querer ganar.
Únete a quienes están construyendo el caso para la gobernanza antes de que sea demasiado tarde.