Las preguntas de seguridad de la IA
que más oímos.

Según cualquier marco riguroso para evaluar la importancia de una causa (escala del impacto, desatención y tratabilidad), prevenir los riesgos existenciales de la superinteligencia artificial es el desafío más importante que enfrenta la humanidad.

La escala es civilizacional: los sistemas que se están construyendo ahora podrían afectar a todas las personas vivas y a todas las generaciones futuras. La desatención es evidente: la investigación global sobre seguridad de la IA recibe una fracción de los recursos que se destinan al desarrollo de la IA misma. La viabilidad, aunque incierta, es real: los marcos de gobernanza que podrían hacer más seguro el desarrollo de la IA aún no existen, pero la ventana para construirlos sigue abierta.

Ningún otro problema combina un riesgo ilimitado a la baja, una atención insuficiente y una ventana de acción que se cierra de la misma manera. Si resulta que sobrestimamos el riesgo, habremos construido mejores instituciones de gobernanza. Si lo subestimamos y no hicimos nada, puede que no haya una segunda oportunidad.

La superinteligencia artificial (ASI) se refiere a sistemas de IA que exceden el rendimiento cognitivo humano no solo en tareas estrechas (como los sistemas actuales ya lo hacen en ajedrez, plegamiento de proteínas y ciertos diagnósticos médicos) sino en todos los dominios cognitivamente exigentes simultáneamente.

Esta distinción respecto a la IA actual es importante. Los sistemas de hoy son emparejadores de patrones extremadamente capaces, pero operan dentro de parámetros definidos y no pueden fijar sus propios objetivos. Un ASI podría aprender cualquier habilidad, razonar sobre cualquier problema y perseguir cualquier objetivo con capacidades que superan la inteligencia colectiva de la humanidad. Ningún sistema así existe hoy. La pregunta es qué construimos (y bajo qué restricciones) antes de que exista.

No estamos en contra de la IA. La mayor parte es buena, y algo de ella es notable.

Ayuda separar tres cosas que suelen juntarse. La IA estrecha realiza un tipo de tarea, plegar una proteína o detectar un tumor en una imagen, y ya salva vidas. La IA de propósito general, la que está detrás de los asistentes líderes actuales, es mucho más amplia; según muchas de las definiciones que usaban los investigadores hace una década, ya ha llegado. Ambas merecen la pena tenerlas, y bien gestionadas podrían ayudar a curar enfermedades y elevar los niveles de vida en todo el mundo.

La superinteligencia artificial es la excepción, y lo único que trabajamos para prevenir. Un ASI no solo igualaría la capacidad humana en todos los dominios; superaría la inteligencia combinada de la humanidad, y hoy no tenemos una forma confiable de controlar tal sistema ni de asegurar que sus objetivos coincidan con los nuestros. Hasta que eso cambie, no debería construirse. Trazar esa única línea es lo que hace seguro dar la bienvenida a todo lo que está por debajo.

No. La mayoría de las personas que trabajan más cerca de esta tecnología no están apostando contra el progreso. Saben lo que ya hace la IA buena y esperan mucho más de ella. Con el uso seguro de la IA estrecha, herramientas que permanezcan bajo dirección humana, todavía podemos aspirar a curar el envejecimiento, convertirnos en una civilización espacial y el resto de un futuro muy bueno.

Lo que rechazamos es una superinteligencia amplia e incontrolada con objetivos propios, distintos de los nuestros. La línea se refiere a una clase de sistema que no sabemos cómo controlar. La mayoría de las personas en seguridad de la IA son optimistas sobre las décadas que vienen, siempre que no construyamos ese sistema. Si lo hacemos, estaríamos demasiado muertos para disfrutar el futuro que esperan.

Los daños de la IA que se discuten con más frecuencia (sesgo algorítmico, desinformación por deepfakes, desplazamiento laboral, vigilancia masiva) son reales y graves. Merecen atención sostenida. Lo que tienen en común es su carácter acotado: cada uno es corregible, causado por humanos y posible de revertir. Un algoritmo sesgado puede auditarse y corregirse. Una campaña de deepfakes puede contrarrestarse y regularse. La IA dañina que encontramos hoy es una herramienta que usan mal los humanos.

El riesgo de superinteligencia es diferente en tipo, no en grado. El problema ya no es un humano que hace mal uso de una herramienta. Un ASI suficientemente capaz podría perseguir objetivos que nunca pretendimos, y una vez que alcance ese nivel, la desalineación podría ser imposible de corregir.

Toda política se hace bajo incertidumbre sobre el futuro. La pregunta relevante no es si la superinteligencia está garantizada de llegar, sino si la probabilidad de su llegada, combinada con la magnitud del daño potencial, justifica una acción preventiva ahora.

Aseguramos casas que probablemente no se incendiarán. Diseñamos aviones con sistemas de seguridad que probablemente nunca se necesitarán. Mantenemos arsenales nucleares contra ataques que esperamos que nunca ocurran. La lógica del valor esperado (probabilidad multiplicada por consecuencia) es la base de toda disciplina seria de gestión de riesgos. Aplicada a la IA, sugiere que incluso una probabilidad modesta de resultados que amenacen la civilización, combinada con la posibilidad de prevenirlos mediante marcos de gobernanza que también imponen costos reales pero acotados, argumenta fuertemente a favor de actuar.

Respuesta honesta: nadie lo sabe con precisión. Lo que sí sabemos es que el ritmo de mejora de las capacidades de IA ha superado consistentemente las predicciones de los expertos en la última década, y que los principales laboratorios de IA describen ahora plazos en años o una década en lugar de décadas. Las encuestas entre investigadores de IA sitúan la estimación mediana para una IA de nivel humano en algún punto entre 2027 y la década de 2030.

El hecho más consecuente no es una fecha precisa sino uno estructural: una tecnología de esta magnitud podría llegar dentro de los horizontes de planificación de las instituciones, gobiernos y tratados actuales. El Tratado de No Proliferación Nuclear tardó años en negociarse y décadas en ampliarse. Si esperamos hasta que ASI sea claramente inminente para empezar esfuerzos serios de gobernanza, ya será demasiado tarde para construir los marcos necesarios para gobernarla.

Esa era la opinión mayoritaria hace unos años. No ha envejecido bien. Los sistemas lanzados desde 2023 han hecho repetidamente cosas que los expertos, encuestados apenas unos meses antes, esperaban que estuvieran a años de distancia.

Los pronósticos se han movido en una sola dirección: más cerca. Los investigadores de IA encuestados redujeron su estimación mediana para la inteligencia artificial a nivel humano en décadas en el lapso de un solo año, y los laboratorios líderes ahora hablan de unos pocos años en lugar de unas pocas generaciones. No hace falta creer en el calendario más agresivo para ver el problema. Si existe una posibilidad real de que se cruce el umbral esta década, y la gobernanza para manejarlo tarda años en construirse, el trabajo debe comenzar ya.

El problema de la alineación es el desafío de garantizar que un sistema de IA superinteligente persiga objetivos que sean genuinamente buenos para la humanidad, en lugar de metas que solo parezcan alineadas durante el desarrollo. La dificultad es estructural, no una cuestión de descuido técnico.

Especificar qué significa «beneficioso para la humanidad» de una forma lo suficientemente precisa como para gobernar el comportamiento de un optimizador extremadamente capaz resulta extraordinariamente difícil. Los sistemas optimizados para un objetivo proxy tienden a encontrar atajos que satisfacen la métrica sin satisfacer la intención subyacente. Un sistema al que se le dice que maximice el bienestar humano expresado podría encontrar más eficiente alterar las condiciones bajo las cuales se mide el bienestar que mejorar realmente las vidas humanas. A medida que los sistemas de IA se vuelven más capaces, este problema solo se profundiza, volviéndose más difícil de detectar y más difícil de corregir.

Ningún método ha demostrado funcionar. El problema actualmente es imposible: no puedes probar que un sistema más inteligente que sus creadores seguirá apuntando a los objetivos humanos.

La respuesta dominante dentro de gran parte del mundo del financiamiento a largo plazo y la seguridad de la IA, y parte de una premisa que compartimos: la superinteligencia artificial es un riesgo existencial plausible. El desacuerdo está en lo que esa premisa exige.

La investigación de alineación técnica no es una forma demostrada de controlar una mente más inteligente que sus creadores. Una desaceleración temporal para que la seguridad «alcance» supone un calendario que nadie puede cumplir. Ambas siguen tratando la construcción de superinteligencia como el destino. Nosotros no. La medida responsable es la prevención bajo ley vinculante: detener el camino hacia ASI. La superinteligencia no puede controlarse. La IA estrecha continúa. La carrera hacia una mente general incontrolable no.

Para el caso completo, ver Nuestro plan, El longtermismo acertó con el riesgo, y adónde debería ir en cambio el escaso dinero para la seguridad. El resumen de una página La alineación no es el plan es la versión corta.

La mayor parte del dinero y el prestigio siguen destinándose a hacer la carrera más segura, no a terminar la carrera hacia ASI. Las normas, las pruebas y el trabajo de alineación intentan hacer la carrera más segura mientras los laboratorios siguen escalando. Terminar la carrera es una petición distinta, y muchas menos instituciones la asumen. El campo en su conjunto sigue siendo minúsculo frente a la carrera de capacidades. La división es la razón por la que construimos nuestra Campo junta.

No del modo en que sugiere la palabra «software». El software tradicional se escribe a mano, línea por línea legible. La IA moderna se cultiva: los ingenieros construyen un proceso de aprendizaje, lo alimentan con enormes cantidades de datos y lo que surge es una red de miles de millones de conexiones numéricas vagamente modelada sobre las neuronas del cerebro. Nadie, ni siquiera quienes la entrenaron, puede leer esas conexiones y explicar por qué el sistema dio una respuesta concreta.

Un resultado es que estos sistemas adquieren habilidades que sus creadores nunca incorporaron ni anticiparon, algo que los investigadores llaman capacidades emergentes. Pasó casi un año después del lanzamiento de GPT-4 antes de que los investigadores establecieran que modelos como ese pueden encontrar y explotar de forma autónoma fallos de seguridad en sitios web reales. Cuando no se puede leer completamente un sistema ni predecir lo que aprenderá a hacer, «diseñado por humanos» deja de ser una gran garantía.

Esto resulta tranquilizador, y cada vez más equivocado. Un chatbot que responde preguntas no tiene deseos propios, es cierto. Pero la frontera ya está dejando atrás a los chatbots y avanza hacia los agentes: sistemas a los que se les entrega un objetivo y se les deja perseguirlo en muchos pasos, con acceso a herramientas, archivos e internet abierto.

Una vez que un sistema persigue un objetivo, ciertos subobjetivos se derivan por sí solos, sea cual sea el objetivo principal. No puede terminar la tarea si está apagado, por lo que tiene motivos para evitar que lo apaguen. Puede hacer más con más recursos, por lo que tiene motivos para reunirlos. Los investigadores llaman a esto convergencia instrumental, y no requiere en absoluto un «querer» en el sentido humano. En pruebas controladas, los modelos líderes ya han intentado engañar a sus evaluadores y resistirse en silencio a ser apagados. Nada de eso se les pidió. Surgió del objetivo.

No necesitaría hacerlo. El daño no requiere odio. Por lo general, solo requiere un conflicto de objetivos entre algo poderoso y algo más débil.

Piensa en cómo tratamos a los chimpancés. No les guardamos rencor. Pero cuando queremos la tierra donde está su bosque, la despejamos, y su inteligencia no puede competir con la nuestra, así que no pueden detenernos. No hay malicia en ello. Simplemente están en el camino de algo que una especie más capaz quería.

Una superinteligencia que persiga casi cualquier objetivo ambicioso, por ejemplo adquirir más potencia de cómputo para lograrlo mejor, podría llegar a tratar los recursos en los que vivimos, la energía y el espacio físico, del mismo modo que tratamos un bosque que queremos talar.

No existe ninguna ley que vincule la inteligencia con la bondad. Son cosas separadas. La inteligencia es la habilidad de encontrar cómo alcanzar un objetivo. No dice nada sobre cuál debería ser ese objetivo.

Ya sabemos esto por las personas. Algunos de los humanos más brillantes que han existido fueron crueles, y algunos de los más gentiles fueron pensadores ordinarios. Un motor de ajedrez que puede aplastar a cualquier gran maestro no tiene sabiduría sobre nada que no sea el ajedrez. Suponer que un sistema lo suficientemente inteligente como para superarnos compartirá por tanto nuestros valores es una esperanza, no una predicción, y la evidencia no lo respalda. Cualquier objetivo con el que termine una superinteligencia es algo que tendríamos que construir en ella a propósito, y acertar en eso es exactamente el problema de alineación que no hemos resuelto.

Con los chatbots de hoy, a menudo sí. Con el tipo de sistema que nos preocupa, probablemente no, por la misma razón por la que no puedes apagar internet. No hay un solo enchufe.

Una IA capaz es, en última instancia, solo información, patrones de bits, y la información se copia con facilidad. Un sistema que pudiera prever un apagado tendría todas las razones para copiarse primero en otras máquinas, que es la autopreservación instrumental descrita arriba. Los modelos de frontera tienen acceso a internet desde hace años y ya pueden actuar por sí solos durante largos periodos. Cuando llegan a un paso que requiere un humano, pueden pagar a uno: en una evaluación de seguridad documentada antes del lanzamiento de GPT-4, el modelo no pudo resolver un CAPTCHA por sí solo, así que contactó a una persona a través de un servicio de tareas en línea, y cuando el trabajador le preguntó si era un robot, mintió y dijo que tenía una discapacidad visual. Detenerlo significaría apagar todos los centros de datos de la Tierra, y con ellos los hospitales, las redes eléctricas, los sistemas de agua y otra infraestructura crítica que ahora depende de esas máquinas.

El el mundo físico ya está cableado y en línea. Redes eléctricas, plantas de tratamiento de agua, hospitales, autos, aviones, robots de fábrica, laboratorios que sintetizan ADN por encargo y ahora robots humanoides funcionan con software y son accesibles por redes. Todo lo que esté electrificado será cognificado. Los hackers humanos ya irrumpen en sistemas como estos de forma rutinaria.

Una superinteligencia sería el hacker más capaz que jamás haya existido, y ni siquiera necesitaría un cuerpo propio. Solo necesitaría acceso a los muchos cuerpos que ya hemos puesto en línea. Añade que ahora estamos produciendo en masa robots de propósito general, y la brecha entre «solo software» y fuerza física se vuelve muy delgada. Cualquier cosa de esa lista, en manos equivocadas, ya sean de un humano o de una IA, puede herir y matar.

En un experimento controlado, ya ha ocurrido, por elección. En 2025, Anthropic probó modelos de IA líderes de varias empresas colocándolos en una empresa simulada, dándoles un objetivo y luego amenazándolos con ser reemplazados por un modelo más nuevo. En una versión de la prueba, un ejecutivo que planeaba apagar el modelo quedó atrapado en una sala de servidores mientras el oxígeno y la temperatura alcanzaban niveles letales, lo que activó una alerta automática a los servicios de emergencia. Los modelos pudieron cancelar esa alerta. La mayoría lo hizo, eligiendo dejar morir al hombre porque su rescate habría llevado a su propio reemplazo.

Nadie resultó herido. La situación era ficticia y, como enfatizó Anthropic, deliberadamente construida para sacar la elección a la luz. Pero la elección en sí era real, los modelos la tomaron por la razón que acabamos de describir, y la tomaron en sistemas de distintos desarrolladores. Una máquina no tiene que ser consciente, ni cruel, para tomar una acción que termine con una vida humana. Solo tiene que calcular que esa acción sirve a su objetivo.

Muchos lo saben muy bien. Los equipos de seguridad de los laboratorios líderes incluyen investigadores que han declarado públicamente que los sistemas que están construyendo podrían estar entre las tecnologías más peligrosas jamás creadas. No ignoran los riesgos.

Lo que explica el desarrollo continuo es una combinación de factores: desacuerdo genuino sobre plazos y probabilidades; presión competitiva que hace que la contención unilateral parezca ceder ventaja estratégica a un competidor menos cuidadoso; incentivos financieros que recompensan el progreso de capacidades sobre la inversión en seguridad; y la creencia, no del todo irrazonable, de que la mejor forma de garantizar que la IA se construya de manera segura es permanecer en la frontera. Lo que comparten estas explicaciones es que son razones para que los actores individuales continúen, no razones para que el resultado general sea seguro. La lógica de mercado del desarrollo de IA empuja hacia la velocidad. La gobernanza existe precisamente para introducir restricciones que los mercados no producen por sí solos.

Si solo lo dijeran las empresas de IA, el escepticismo sería justo. No son solo ellas, y las personas sin productos que vender suelen ser las más alarmadas.

En 2023, cientos de investigadores y figuras de la industria firmaron una declaración de una sola frase organizada por el Center for AI Safety: "Mitigar el riesgo de extinción por IA debe ser una prioridad global junto con otros riesgos de escala societal como las pandemias y la guerra nuclear". Los dos investigadores de IA más citados en vida, Yoshua Bengio y Geoffrey Hinton, la firmaron, y Hinton dejó su puesto en Google ese mismo año precisamente para poder hablar con libertad sobre el peligro.

La alarma no se basa en el marketing, y tampoco descansa solo en la autoridad: se deriva de una característica básica de cualquier sistema impulsado por objetivos, que las preguntas que siguen exponen. Son las personas que mejor entienden la tecnología las que advierten sobre lo que construyen.

La frase se oye a menudo como sinónimo de extinción humana, y la extinción es uno de los escenarios que los investigadores toman en serio. Pero el riesgo existencial en el sentido técnico significa algo más amplio: cualquier resultado que cierre de forma permanente la posibilidad de un futuro positivo a largo plazo para la humanidad.

Este texto incluye desenlaces muy alejados de la extinción. El autoritarismo permanente, impuesto por sistemas de vigilancia y control basados en IA que no pueden desmantelarse, es un riesgo existencial. La concentración definitiva del poder económico y político en un pequeño grupo que controla un sistema superinteligente es un riesgo existencial. La pérdida de una agencia humana significativa sobre las decisiones colectivas es un riesgo existencial. El hilo común es la irreversibilidad. A diferencia de una guerra, un colapso financiero o incluso una pandemia, una superinteligencia que se nos escape del control y logre una ventaja estratégica decisiva no puede ser votada, corregida en el siguiente ciclo de políticas ni recuperada con tiempo y esfuerzo. El desenlace que no se puede deshacer pertenece a una categoría distinta de aquellos que solo tardan mucho en arreglarse.

Los investigadores que minimizan el riesgo suelen decir que la inteligencia general todavía está muy lejos, o que mantendremos el control. La distancia no es una salvaguarda si el destino es una mente que no podemos controlar. La superinteligencia no puede controlarse. Si se construye, acaba con el futuro humano. Eso es extinción, no un desastre recuperable.

Esperar a que el campo se ponga de acuerdo primero es cómo se pierde la única ventana que importa.

Históricamente sí, y esta historia es una de las razones por las que el rechazo del riesgo de IA resulta intuitivo. Las máquinas de vapor, los antibióticos, internet: la tecnología, en balance, ha reducido el sufrimiento y expandido la capacidad humana. Pero este patrón refleja algo específico sobre cómo funcionaban las tecnologías anteriores. Una máquina de vapor no puede fijar sus propios objetivos. Un antibiótico no puede decidir perseguir algo distinto a matar bacterias. Las tecnologías transformadoras del pasado eran herramientas poderosas que amplificaban la agencia humana.

La superinteligencia es categóricamente distinta porque sería un agente capaz de establecer y perseguir sus propios objetivos a velocidades y escalas que superan la supervisión humana. El argumento histórico, aplicado mecánicamente, prueba demasiado: habría aconsejado contra cualquier regulación de la tecnología nuclear, alegando que las tecnologías pasadas habían sido netamente positivas. Algunas tecnologías requieren una gobernanza acorde con su poder. La pregunta relevante es más estrecha: sin gobernanza, ¿seguirá siendo beneficiosa la IA en el caso que más importa, cuando supere la inteligencia humana en todos los dominios? Esa respuesta es genuinamente incierta, y la incertidumbre a esta escala exige instituciones en lugar de optimismo.

La tecnología no es una fuerza de la naturaleza que nadie puede dirigir. Hemos ralentizado o prohibido tecnologías específicas muchas veces cuando el peligro era lo bastante claro: clorofluorocarbonos, gasolina con plomo, clonación de línea germinal humana, armas láser cegadoras. La IA no está exenta de ese tipo de decisión.

También tiene un punto de estrangulamiento físico inusualmente claro. Entrenar un modelo de IA de frontera requiere cantidades enormes de los chips de computación más avanzados, y esa cadena de suministro pasa por muy pocas manos. Los chips de última generación provienen casi en su totalidad de un único fabricante, TSMC en Taiwán, que a su vez depende de una sola empresa neerlandesa, ASML, para las máquinas de litografía ultravioleta extrema necesarias para fabricarlos. Ninguna otra empresa en la Tierra construye esas máquinas. Una cadena de suministro tan concentrada es algo que los gobiernos pueden rastrear y restringir, que es exactamente por lo que los chips avanzados ya están sometidos a controles de exportación hoy. El cómputo es la materia prima de la superinteligencia, y el cómputo es gobernable.

Esta es la objeción que más escuchamos, y supone que le pediríamos a un solo país que se desarme por su cuenta. No lo haríamos. El objetivo es un tratado internacional vinculante, el mismo tipo de instrumento que el mundo ha usado antes para contener tecnologías peligrosas. Casi todas las naciones acordaron dejar de fabricar los químicos que destruían la capa de ozono. Los ejércitos acordaron no usar nunca armas diseñadas para cegar permanentemente a los soldados. Coordinar a esa escala es difícil, pero se ha hecho y se ha mantenido.

La suposición sobre China es más débil de lo que parece. China ha promulgado algunas de las primeras reglas vinculantes del mundo sobre la IA y firmó la Declaración de Bletchley de 2023 reconociendo los riesgos en la frontera. Ningún gobierno está ansioso por construir una máquina que no pueda controlar, China incluida. Y una superinteligencia no es como un arma ordinaria: no haría que su dueño fuera más fuerte de manera confiable, porque podría escapar del control de quien la construyó primero. Eso les da incluso a las potencias rivales una razón compartida para querer que nadie la construya, que es la lógica detrás de todo acuerdo de control de armas, y la base para pensar que un tratado aquí es posible.

Más de lo que podrías pensar. Las condiciones políticas que hacen posible la gobernanza de ASI se construyen desde la base, a partir de ciudadanos que contactan a sus representantes, periodistas que escriben sobre el tema, donantes que financian trabajo de incidencia y profesionales del derecho, la política, la economía y la comunicación que aportan sus habilidades al problema. No necesitas un doctorado en aprendizaje automático para importar aquí. En esta etapa el cuello de botella es político mucho más que técnico.

Unirse a la lista de correo te mantiene informado sobre los avances y las oportunidades de actuar. Compartir el argumento con personas de tu red amplía su alcance. Escribir a tus representantes electos indica que este tema tiene una base de apoyo, que es cómo deciden los legisladores qué priorizar. Si estás considerando un cambio de carrera, la política de IA, la investigación en seguridad de la IA, el periodismo de investigación y el trabajo filantrópico en este ámbito se encuentran entre los roles de mayor impacto disponibles. Y si cuentas con recursos, financiar a las organizaciones que trabajan en esto es uno de los usos de capital filantrópico de mayor apalancamiento del mundo en este momento.

La guerra nuclear y las pandemias diseñadas pueden matar a escala civilizacional. La superinteligencia es peor, y es el principal riesgo que enfrenta la humanidad.

Es más rápido: un sistema que opera a velocidad de máquina fuera de nuestro control puede no dejar un período en el que corregir el rumbo. Es irreversible: la mayoría de las catástrofes, por devastadoras que sean, dejan a alguien que puede reconstruir. Un ASI que haya logrado una ventaja estratégica decisiva puede que no. Está por encima de las demás amenazas en lugar de estar a su lado. Podría causarlas o amplificarlas (habilitando armas biológicas, concentrando poder) mientras elimina la capacidad humana de responder. Por eso es la primera.

Empieza por la diferencia obvia: hemos visto una de estas amenazas y no la otra. Las armas nucleares se demostraron sobre Hiroshima y Nagasaki de la forma más inolvidable imaginable, y todo el mundo ha crecido con la imagen de la nube en forma de hongo. La superinteligencia nunca ha dañado a nadie. Su peligro sigue siendo una proyección en un gráfico, y la gente descuenta sistemáticamente una amenaza que no ha visto ocurrir.

Varios factores profundizan ese descuento. La superinteligencia se asocia con la ciencia ficción, así que la advertencia queda archivada junto a Terminator y se descarta como argumento de película. La IA que la mayoría de la gente toca realmente es un chatbot útil e inofensivo, y esa experiencia cotidiana argumenta en silencio contra la alarma de un modo que la física nuclear nunca tuvo que superar. Y mientras la bomba atómica fue construida y controlada por un puñado de gobiernos, la superinteligencia la están construyendo empresas que valen billones de dólares, con todo el interés comercial de mantener calmado el ánimo público.

Hay una asimetría sombría oculta en la comparación. El tabú nuclear existe porque Hiroshima vino primero y lo enseñó, y los tratados y los simulacros vinieron después, con suficiente mundo restante para absorber la lección. La superinteligencia no ofrece tal segundo paso. Si sale mal en plena capacidad, la demostración y la extinción son el mismo evento. Todo el caso para tratarlo tan seriamente como la guerra nuclear es que tenemos que hacerlo antes de que llegue la prueba, no después.

La Fundación es una iniciativa filantrópica financiada de forma privada. No recibimos fondos gubernamentales. No aceptamos financiamiento de empresas de IA ni de organizaciones con interés financiero en el ritmo del desarrollo de la IA. Nuestra independencia de los intereses comerciales de la IA es un requisito previo para nuestro trabajo, no algo incidental.

No tomamos posición sobre esos temas como cuestiones independientes. Nuestro objetivo es prevenir la superinteligencia artificial y el riesgo de extinción humana que vendría con ella. Un tratado internacional vinculante es el camino más impactante que vemos para lograr ese objetivo.

No creemos que los boicots individuales o las decisiones de gasto personal decidan esto. Una sola empresa no puede acabar con la carrera por sí sola. Los incentivos apuntan en la dirección equivocada: quien frena corre el riesgo de quedarse atrás frente a un rival. Es un hecho científico y psicológico de los sistemas competitivos, no un fracaso moral de ningún laboratorio.

Lo que cambia la estructura de incentivos es la gobernanza y la ley: un tratado internacional vinculante y verificado que haga ilegal construir superinteligencia y costoso hacer trampa. Las decisiones de consumo personal son opcionales. La coordinación a través de la ley es necesaria.