Las objeciones que surgen una y otra vez. Úsalas en la conversación, luego sigue el enlace para el argumento completo.
Riesgos de Seguridad de la IA en Lenguaje Sencillo
Qué es la superinteligencia, por qué es peligrosa y qué se puede hacer al respecto, explicado sin jerga. La introducción más clara de una página sobre el tema.
El consenso científico
Citas clave de premios Nobel, ganadores del Premio Turing e investigadores senior que construyeron la IA, junto con la línea de tiempo de advertencias expertas que se han intensificado desde 2014 hasta hoy.
Un resumen para responsables de políticas
El caso de la gobernanza internacional de la seguridad de la IA: el problema, por qué los marcos existentes son insuficientes y las acciones concretas que los gobiernos pueden tomar ahora, modeladas en precedentes que funcionaron.
Puntos clave para defensores
Las cinco objeciones más comunes a la preocupación por la seguridad de la IA, y cómo responder a cada una con precisión y confianza. Escrito para conversaciones con escépticos, formuladores de políticas y pares.
Superinteligencia, cuatro infografías
Cuatro infografías de una página que cubren los riesgos de la superinteligencia, la brecha de gobernanza, precedentes históricos que muestran que la acción es posible y lo que debe contener un tratado internacional vinculante sobre IA.
Visuales simples
Cuatro tarjetas visuales audaces: la estimación de la probabilidad de extinción, la brecha de gobernanza de las inversiones, los precedentes de tratados que demuestran que la acción global funciona y los requisitos de un tratado vinculante de IA.
Prevención, no una pausa
Por qué pedir una desaceleración temporal es un error. El argumento para prohibir la superinteligencia de forma permanente, mientras la IA estrecha sigue funcionando.
Nunca construyas superinteligencia
Irreversibilidad, objetivos desalineados y por qué "ya lo arreglaremos después" falla una vez que un sistema supera en inteligencia a sus creadores. El caso de la negativa en una página.
El mito de la carrera con China
Por qué "si frenamos, China gana" describe una carrera que nadie puede ganar, y cómo responder con verificación en lugar de una carrera desenfrenada.
Mantén la IA. Detén la superinteligencia.
La línea clara entre herramientas estrechas útiles y una mente general autónoma. Pro-IA para herramientas; anti-ASI para mentes que no podemos controlar.
Cómo se puede verificar un tratado
No vigilas los pesos. Vigilas el hardware: seguimiento de chips, licencias de clústeres, inspección y reglas de fundición en español sencillo.
Qué debe contener un tratado vinculante sobre IA
Seis cláusulas que separan un acuerdo real de un comunicado de prensa: prohibición, controles de cómputo, inspección, ley nacional, excepciones y enmienda basada solo en evidencia.
La alineación no es el plan
La investigación en seguridad técnica importa; no es un permiso para seguir corriendo, y cualquier financiamiento que tengamos debería destinarse allí. Prevención primero; investigación sin una pistola comercial en la cabeza.
Explíquelo en cinco minutos
Un guion de conversación hablada: advertencias de los constructores, qué es la superinteligencia, por qué fallar al desconectar, la línea de China y un aterrizaje limpio en la acción.
Qué puedes hacer esta semana
Una lista de verificación concreta para alcance personal, alcance político, modo de una hora y modo de plataforma. Elige dos. Termínalos.
Informe de Un Minuto
Material para responsables de políticas: tres estadísticas, tres peticiones, el marco de prevención y la objeción de China respondida en longitud de asistente.
La brecha de financiamiento en seguridad
~190 millones de dólares en seguridad versus más de 250 mil millones en capacidades. Dónde va el escaso fondo de seguridad y qué financiar en lugar de teatro.
Por qué los sistemas inteligentes resisten el control
Convergencia instrumental sin jerga: autopreservación, recursos, resistencia a ediciones y volverse más inteligente como presión de optimización ordinaria.
Doce carteles extraídos de los explicadores en este sitio.
El maximizador de clips
Un sistema competente con el objetivo equivocado puede arruinar el mundo sin odiar a nadie.
Descargar PNG
La tesis de la ortogonalidad
Ser más inteligente no significa automáticamente más seguro, o más amable.
Descargar PNG
El problema de la alineación de la IA
La brecha entre el objetivo que escribimos y el resultado que realmente necesitamos.
Descargar PNG
El giro traicionero
Un sistema desalineado puede pasar todas las pruebas hasta que la defección sea el movimiento ganador.
Descargar PNG
Desempoderamiento gradual
El control puede escaparse una decisión razonable a la vez, sin un momento de ruptura.
Descargar PNG
La carrera por la superinteligencia es un mito
Una carrera hacia algo que nadie puede controlar no tiene ganador.
Descargar PNG
Ya lo hemos hecho antes
NPT, Montreal y la CWC demuestran que la coordinación sobre el riesgo existencial es posible.
Descargar PNG
Nuestro plan: camino hacia un tratado
La carrera de hoy, luego un tratado vinculante sobre superinteligencia con monitoreo y aplicación.
Descargar PNG
¿Qué es P(doom)?
Rangos de expertos para resultados catastróficos de IA, y por qué probabilidades pequeñas aún requieren acción.
Descargar PNG
Toma acción: Elige tu rol
Roles concretos para construir la coalición detrás de un tratado vinculante.
Descargar PNG
La explosión de inteligencia
Mejora recursiva de sí misma, y cómo la ventana desde el nivel humano hasta lo irrecuperable puede colapsar.
Descargar PNG
Por qué la superinteligencia no es como otros riesgos
Reaseguros superficiales versus los mecanismos profundos de la amenaza.
Descargar PNG
Aproximadamente 190 millones de dólares fluyen cada año hacia la seguridad de la IA, entre investigación, evaluaciones, políticas y promoción combinados. Alterna entre el origen del dinero y lo que paga, según las estimaciones públicas más recientes.
- Open PhilanthropyRespaldado por Good Ventures; el mayor financiador individual del campo $50M 26%
- Equipos internos de seguridad de laboratorios de fronteraPresupuestos de investigación de seguridad en Anthropic, OpenAI, Google DeepMind $35M 18%
- Survival & Flourishing FundRondas de subvenciones respaldadas por Jaan Tallinn; segunda fuente filantrópica más grande $30M 16%
- gobierno UKInstituto de Seguridad de IA, programa de IA Protegida de ARIA $30M 16%
- Otras filantropías y donantes individualesLongview Philanthropy, Long-Term Future Fund, donantes individuales $25M 13%
- US, EU y otros gobiernosNIST CAISI, EU AI Office, programas de seguridad de la NSF 20M 11%
Cifras son estimaciones de punto medio redondeadas para 2023-2025 compiladas de fuentes públicas: el Resumen de financiamiento en seguridad de IA (actualizado a principios de 2025), 80,000 Hours, un análisis de la base de datos de subvenciones de Open Philanthropy, y Dentro de la Filantropía. Los totales publicados oscilan entre aproximadamente $110M y $250M al año según lo que se cuente. El gráfico por uso clasifica las subvenciones de cada financiador por categoría y las suma entre financiadores; el trabajo completo está en nuestro artículo sobre la brecha de financiamiento.
Cada actor principal en la lucha por la superinteligencia, ordenado por trayectoria: prevenir, gobernar o construir.
Definiciones en inglés sencillo de las palabras que usa este debate: superinteligencia, alineación, convergencia instrumental, y el resto.
Copia cualquiera de estos y publícalos directamente. Cada uno está basado en ciencia verificada y consenso de expertos.
Los científicos que construyeron la IA le tienen miedo. Geoffrey Hinton dejó Google para advertirnos. Yoshua Bengio la llamó «la tecnología más transformadora y potencialmente peligrosa de la historia humana». Esto no es alarmismo. Es el consenso científico. nakadafoundation.org/the-threat/
No hay marcha atrás para la superinteligencia. No hay parche. No hay versión 2. Un ASI desalineado que actúe contra la supervivencia humana no puede corregirse después del hecho. Debemos acertar esto antes de que llegue, no después. Por eso la seguridad de la IA es urgente. nakadafoundation.org
Construimos armas nucleares y luego creamos un tratado global de no proliferación. Agotamos el ozono y luego prohibimos los CFC. Podemos actuar ante amenazas existenciales, pero solo cuando suficiente gente lo exige. La seguridad de la IA es el momento definitorio de esta generación. nakadafoundation.org/precedent/
Los laboratorios de IA están compitiendo para construir algo que podría exceder la inteligencia humana, sin ninguna gobernanza global en su lugar. La ventana para actuar se está cerrando. Comparte esto. Contacta a tu representante. La ventana de políticas está abierta ahora; no lo estará para siempre. nakadafoundation.org/take-action/
Quiero compartir algo que cambió mi forma de pensar sobre el futuro. Los científicos que construyen la IA no solo están entusiasmados. Están asustados. Geoffrey Hinton (que ganó el Premio Nobel por su trabajo en redes neuronales) dejó Google precisamente para advertir al público. Yoshua Bengio, otro premio Nobel y uno de los padres fundadores de la IA, dijo que «se siente perdido» sobre cómo hacer que las cosas salgan bien. Estos no son activistas. Son las personas que construyeron esta tecnología. Nos acercamos a un momento en que los sistemas de IA pueden superar la inteligencia humana en todos los dominios, y no existe ningún marco de gobernanza internacional para lo que viene después. Ningún tratado. Ningún organismo de verificación. Nada equivalente a lo que construimos para las armas nucleares. La Nakada Foundation to Save Humanity está trabajando para cambiar eso. Más información en nakadafoundation.org #AISafety #ExistentialRisk #AIGovernance #Superintelligence
Un experimento mental para cualquiera que trabaje en tecnología, política o finanzas: Imagine un sistema más inteligente que todos los humanos que han existido, ejecutando miles de instancias simultáneas, capaz de mejorar su propio código, persiguiendo objetivos que quizá no pretendíamos. Esto es exactamente hacia lo que los principales laboratorios de IA están construyendo de forma explícita, con plazos medidos en años y no en décadas. No es ciencia ficción. La pregunta no es si ocurrirá. La pregunta es si tendremos gobernanza en marcha cuando ocurra. La Nakada Foundation aboga por una coordinación internacional en seguridad de la IA, el equivalente de lo que construimos para las armas nucleares y los agentes biológicos. Estos precedentes existen. Sabemos cómo hacerlo. Lo que necesitamos es voluntad política. nakadafoundation.org/our-plan/ #AIPolicy #TechEthics #AIRisk #FutureOfWork
Asunto: Por favor actúe para prohibir la superinteligencia artificial Estimado/a [Representative's Name], Le escribo como su elector para pedirle que actúe sobre la superinteligencia artificial antes de que la carrera sea irreversible. La superinteligencia no puede ser controlada por humanos. El único control fiable es decidir no construirla. Los científicos que crearon la IA nos están advirtiendo. Geoffrey Hinton y Yoshua Bengio (premios Nobel que sentaron las bases de la IA moderna) han declarado públicamente que la IA superinteligente representa un riesgo existencial para la humanidad. Sam Altman, CEO de OpenAI, ha firmado declaraciones que reconocen el peligro de la tecnología que su propia empresa está desarrollando. Hoy no existe ninguna prohibición legal para construir superinteligencia artificial. Ningún tratado. Ningún organismo de verificación. Los laboratorios compiten por crear una mente que nadie puede controlar, sin el tipo de ley que ya aplicamos a las armas nucleares y los agentes químicos. Le pido que: • Apoye una prohibición legal permanente del desarrollo de superinteligencia artificial • Promueva un tratado internacional vinculante que prohíba ASI, con inspecciones y verificación • Otorgue al gobierno autoridad sobre los mayores entrenamientos y los chips especializados que usan Ya hemos actuado ante amenazas existenciales. El Tratado de No Proliferación Nuclear. El Protocolo de Montreal. Este momento exige la misma valentía política. Atentamente, [Your Name] [Your City, State] --- Más información: nakadafoundation.org