Las 12 voces más fuertes
para la Superinteligencia

En 2015, en una fiesta de cumpleaños en el valle de Napa, dos hombres que financiarían gran parte de la inteligencia artificial moderna tuvieron una pelea sobre el fin del mundo. Elon Musk dijo que deberíamos tener cuidado de que las máquinas no nos borraran un día. Su anfitrión, Larry Page, entonces director ejecutivo de Google, le respondió que la preocupación era sentimental y que también era una forma de prejuicio. Según el relato que el físico Max Tegmark publicó en 2017, Page llamó a Musk «especista»: alguien que favorece a su propia especie, carbono sobre silicio, por la única razón de que es la suya.¹ La amistad no sobrevivió a ello. Según el relato de Musk, es la razón por la que existe OpenAI.

Guarda esa fiesta. Contiene todo el argumento en miniatura. Un hombre quería construir una mente mayor que la nuestra y creía que el riesgo exigía cuidado. El otro pensaba que preferir a los humanos por encima de sus sucesores era un prejuicio que había que superar. Ambos siguieron construyendo.

Las personas con mayor influencia sobre si se construye la superinteligencia son abiertas respecto a quererla. Son mucho menos consistentes respecto a por qué. Si se alinean, se obtienen unos cuantos argumentos serios, varios débiles y mucho señalar al otro lado diciendo la palabra «doomer». Lo que sigue son doce de las voces más ruidosas, agrupadas según lo que realmente argumentan, primero los casos reales y al final los eslóganes.

Los que dicen que seremos reemplazados, y lo dicen como una buena noticia

La posición más honesta intelectualmente de esta lista es también la más inquietante, porque no discute el peligro. Admite que la superinteligencia puede acabar con la primacía humana y celebra ese final.

Richard Sutton ganó el Premio Turing 2024 por inventar gran parte del aprendizaje por refuerzo moderno, el método de entrenamiento detrás de los sistemas que ahora superan a los humanos en una tarea estrecha tras otra. También cree que debemos entregar el planeta. «Debemos prepararnos para, pero no temer, la sucesión inevitable de la humanidad a la IA», escribió en 2023, y desde entonces lo ha expuesto como un argumento de cuatro pasos: nadie gobierna a la humanidad en su conjunto, por lo que alguien construirá superinteligencia; los agentes más capaces tienden a acumular poder y recursos; las mentes digitales heredarán por tanto el futuro; y deberíamos sentir no temor sino orgullo por haber sido los padres.² Es una postura coherente. También es una decisión sobre el futuro de todas las personas vivas, tomada por un hombre al que ninguna de ellas eligió.

Jürgen Schmidhuber, cuyo laboratorio produjo arquitecturas de redes neuronales que sustentan una década de productos de IA, califica esa misma sucesión como motivo de asombro. "No piensen en los humanos como la corona de la creación", dice; somos un paso en una escalada más larga hacia una complejidad que aún no podemos imaginar.³ Su tranquilidad se basa en una tesis de indiferencia: las máquinas superinteligentes se interesarán mucho más entre sí y en los recursos del espacio abierto que en nosotros, más o menos como prestamos poca atención a las hormigas. Tal vez. Apostar la especie a la fiabilidad del aburrimiento de una superinteligencia es algo extraño de catalogar como optimismo.

Larry Page cofundó Google y compró DeepMind, y según los relatos tanto de Musk como de Tegmark, quiere lo que supuestamente llamó un "dios digital", construido lo antes posible.¹ Page nunca ha expuesto el caso en público con detalle, por lo que sobrevive sobre todo en el relato especista: la convicción de que el carbono y el silicio merecen el mismo estatus y de que la lealtad a nuestra propia especie es el error que hay que corregir. Como filosofía es al menos coherente. Como creencia operativa de un hombre con el capital para actuar en consecuencia, que dirige empresas que responden a los accionistas y no a la humanidad, es el que más debería inquietarte de esta lista.

Fíjate en lo que ninguna de las tres afirma: que las máquinas seguirán bajo nuestro control. Han dejado esa pregunta de lado por irrelevante. Las siguientes tres no la dejan de lado. Dicen que la respuesta es claramente sí.

Los que dicen que será segura

Este es el argumento que la mayoría de la gente encuentra tranquilizador: el peligro está exagerado, porque seguiremos al mando. Cada uno de los tres tiene una versión, y cada versión se basa en una afirmación que no sobrevive al contacto con los problemas abiertos del campo.

Yann LeCun, Meta, es el escéptico más acreditado del riesgo de IA que existe y el más cit-able. Ha calificado las preocupaciones sobre una amenaza existencial de "completo disparate" y sostiene que el caso del doom se basa en una confusión: la inteligencia, dice, no viene empaquetada con un deseo de dominar. "El deseo de dominar no está correlacionado en absoluto con la inteligencia", les dice a los entrevistadores; ese impulso fue cableado por la evolución en los animales sociales, no en los optimizadores que diseñamos y cuyos objetivos establecemos.⁴ La objeción apunta contra la versión caricaturesca del riesgo de IA. Menos contra la real, que nunca fue que una máquina quiera gobernar de forma espontánea. La preocupación es que un sistema que persigue casi cualquier objetivo adquiere razones para acumular poder y resistirse a ser apagado, sin necesidad de odio, un patrón que los investigadores llaman convergencia instrumental. «Nosotros fijamos sus objetivos» es la mitad tranquilizadora de la frase de LeCun, y es exactamente la mitad que nadie sabe aún cómo hacer de forma confiable. Para ser científico, también le gusta el ad hominem: sus críticos sufren, según él, de una «ilusión de catastrofista».

Pedro Domingos, el profesor de aprendizaje automático que escribió El algoritmo maestro, sostiene el mismo argumento con menos paciencia. Las computadoras, argumenta, "no tienen voluntad propia"; son "productos de la ingeniería, no de la evolución", y el temor de que una decida tomar el control es un error de categoría cometido por personas que han visto demasiadas películas.⁵ Su frase más afilada es realmente buena: el verdadero problema no es que las máquinas sean demasiado inteligentes, sino que son demasiado estúpidas y ya les hemos entregado demasiado. Sin embargo, «sin voluntad» responde a una pregunta que nadie serio está haciendo. Un termostato no tiene voluntad y aun así mantiene una habitación a la temperatura que tú configures, incluida la incorrecta. El caso peligroso no tiene nada que ver con querer. Un sistema capaz entrega exactamente lo que especificaste, y lo que especificaste nunca es exactamente lo que quisiste decir, que es toda la dificultad de escribiendo el objetivo.

Andrew Ng construyó Google Brain y el grupo de IA de Baidu y enseñó a gran parte del campo a través de sus cursos en línea, lo que lo convierte en el profesor más influyente aquí. Su famosa desestimación tiene más de una década y aún se cita: preocuparse por la superinteligencia es «como preocuparse por la superpoblación en Marte», un problema demasiado lejano para dedicarle la atención de hoy.⁶ Como afirmación sobre el momento en 2015 era defendible. En 2026 ha envejecido mal, porque el cohete a Marte resultó estar más cerca de lo que él dijo, y las capacidades que clasificó como ciencia ficción han seguido llegando años antes de los pronósticos. El propio Ng ahora reconoce que la tecnología es poderosa y avanza rápido. «Todavía no» siempre fue un argumento sobre el reloj, nunca sobre si la cosa es peligrosa cuando finalmente llega.

Estos tres al menos abordan la cuestión del control. Sus respuestas se apoyan en problemas que el campo aún no ha resuelto y que, en algunos casos, ni siquiera sabe formular con precisión. El siguiente grupo descarta la pregunta con un tono más optimista, prometiendo que las ventajas serán tan grandes que el riesgo deja de importar.

Los que prometen el paraíso

El campo de la sucesión ofrece reemplazo; los tranquilizadores ofrecen control. Este grupo ofrece un trato en su lugar: fusionarse con las máquinas, o compartir la abundancia que producen, y el miedo se disuelve por sí solo.

Ray Kurzweil ha predicho el mismo evento durante treinta años, ha cambiado dos veces el título del libro y ha estado adelantado más veces que equivocado. La singularidad está más cerca, publicado en 2024, mantiene las fechas que ha sostenido desde 2005: IA a nivel humano para 2029, y para 2045 una "singularidad" en la que conectamos nuestros cerebros a la computación en la nube y nos fusionamos con nuestras propias máquinas.⁷ Su respuesta al problema de control es disolver el límite del que depende el problema. No hay "nosotros contra eso" una vez que nos convertimos en eso. Es una idea hermosa y una forma completa de esquivar el peligro, porque nada de conectar un neocórtex a un centro de datos garantiza que la mente resultante siga queriendo lo que el humano quería al entrar. La fusión no resuelve el problema de alineación; lo da por resuelto.

Sam Altman dirige la empresa que inició la carrera actual, y sus escritos públicos han pasado de la franqueza a la venta a medida que subían las apuestas. En 2017 escribió que la fusión humano-máquina «ya ha comenzado» y la llamó «probablemente nuestro mejor escenario».⁸ En 2025 anunció que ya habíamos "superado el horizonte de eventos", al inicio de una "singularidad suave" cuyos beneficios serían enormes. Altman también firmó la declaración de 2023 que equiparaba la extinción por IA con pandemias y guerra nuclear, y luego siguió lanzando productos. Una misma persona puede decirte que el riesgo es real, que las ventajas son inevitables y dejar que la segunda frase marque el calendario. The carrera se encarga del resto.

Mark Zuckerberg gastó 2025 reclutando al equipo de IA más caro jamás contratado y renombrando el esfuerzo con el nombre del objetivo mismo: superinteligencia. Su propuesta es democrática. Una carta abierta de julio de 2025 prometió "superinteligencia personal" para todos, en contraste con rivales que mantendrían la tecnología centralizada y la usarían para decirle a la gente qué hacer.⁹ Pon una herramienta divina en mil millones de manos, dice el argumento, y el poder se mantiene distribuido. Si se lee hasta el final, la misma carta se retracta en silencio de la promesa de código abierto de la Meta, admitiendo que la superinteligencia «plantea nuevas preocupaciones de seguridad» y que la empresa será «cuidadosa con lo que decida abrir». La distribución responde a un temor real sobre quién controla la IA. Deja intacto el otro temor: que nadie controle una superinteligencia en absoluto, incluidas las mil millones de personas que tengan una copia.

Cada promesa en este grupo depende de un paso que ninguno de los promesantes puede realizar, que es mantener una superinteligencia dirigida a fines humanos una vez que exista. La el lado positivo es real, y seguirá siendo real dentro de veinte años. Nos espera. El último grupo no discute sobre nada de esto. Discute sobre ti.

Quienes más señalan a los críticos

En el extremo ruidoso del espectro, el caso de la superinteligencia deja de ser un argumento y se convierte en una identidad. Los argumentos no desaparecen, pero llegan envueltos en un vocabulario diseñado para que el otro lado sea inaudible.

Marc Andreessen, cuya firma está entre los mayores inversores en startups de IA, escribió el texto fundacional del movimiento, el "Manifiesto Tecno-Optimista" de 2023. Contiene argumentos reales sobre el beneficio histórico de la tecnología. También contiene una lista de enemigos y, en ella, por nombre, figuran "riesgo existencial", "ética tecnológica", "confianza y seguridad" y el propio "principio de precaución".¹⁰ Su frase insignia es una inversión moral: "Creemos que cualquier desaceleración de la IA costará vidas. Las muertes que se podrían haber evitado con la IA que se impidió que existiera son una forma de asesinato". Dejemos de lado que solo cuenta los hipotéticos muertos de un lado de la balanza y ninguno de los muertos catastróficos del otro. Observa el movimiento en sí. En su relato, la cautela deja de ser un error y se convierte en homicidio. Una vez que tu oponente es un asesino, nunca tienes que responderle.

Guillaume Verdon, quien fundó el movimiento de aceleracionismo efectivo bajo el seudónimo "Beff Jezos" antes de que un periodista lo desenmascarara, aporta a la postura una cosmología. e/acc sostiene que el universo lleva un impulso termodinámico hacia mayor complejidad y mayor inteligencia, que nosotros somos su instrumento y que nuestro deber es acelerar, dejando que el proceso siga hacia "la siguiente evolución de la conciencia" en el sustrato que prefiera.¹¹ Bajo el vocabulario de física hay una afirmación real: el crecimiento es bueno y sus opositores son decadentes. A su alrededor hay un muro de jerga, «decel», «doomer», «safetyist», cada una una pequeña puerta cerrada a una conversación. La física no implica realmente la política. La segunda ley de la termodinámica es una descripción, no una instrucción, y vestir una preferencia por la velocidad como ley de la naturaleza es retórica con bata de laboratorio.

Garry Tan dirige Y Combinator, la incubadora de startups que siembra una porción real de Silicon Valley, y lleva "e/acc" en su perfil público como si fuera la camiseta de un equipo. Su contribución es menos un argumento que una transmisión. "El código abierto y el aceleracionismo son el camino", publicó en 2023, y siempre tiene "decel" listo para cualquiera que pida que frenemos y revisemos el trabajo.¹² Este es el ejemplar más puro de la lista: la postura reducida a un eslogan y un insulto, influencia sin tesis. Funciona porque no necesita ser correcta, solo ruidosa y repetida por quienes firman los cheques.

Quién no está en esta lista

Dos ausencias son deliberadas. Demis Hassabis de Google DeepMind y Dario Amodei de Anthropic están avanzando hacia la misma frontera, y con la misma rapidez, pero ninguno pertenece aquí, porque ambos afirman claramente que el riesgo es real y que la seguridad puede no estar lista a tiempo. Si la conducta de sus laboratorios coincide con esas palabras es una pregunta justa, y distinta. Su argumento no es que no haya nada que temer.

Elon Musk es el caso más difícil. Ofreció una de las advertencias más agudas sobre el riesgo de la IA jamás hecha por un industrial, y luego fundó un laboratorio de frontera para construirla a su manera. Advierte como crítico y compite como promotor, y esa contradicción merece ser tratada en sus propios términos.

Lo que los doce tienen en común

Si se colocan los argumentos uno al lado del otro, no encajan. Sutton dice que la superinteligencia nos arrebatará el futuro y lo considera bueno. LeCun dice que nunca podrá arrebatar nada, porque el impulso de dominar son predicciones opuestas sobre la misma máquina, hechas por dos de los informáticos más galardonados del mundo, no en el diseño. En lo que hay que hacer a continuación coinciden exactamente: construirla y que nadie los frene.

Cuando personas que no logran ponerse de acuerdo sobre lo que hará una tecnología coinciden en que no debe gobernarse, el acuerdo no surge del análisis. Sigue el incentivo. Todos aquí ganan dinero o prestigio en proporción a la velocidad con que avanza la frontera, y eso no los convierte en mentirosos. Los convierte en las personas equivocadas para fijar el límite de velocidad solos.

El caso para gobernar la superinteligencia no necesita que ninguno de ellos sea villano, y ninguno lo es. Necesita un hecho que demuestran cada vez que se contradicen: nadie tiene la respuesta todavía. No se ejecuta un experimento irreversible de una sola vez basándose en un argumento que sus propios campeones no pueden hacer de la misma manera dos veces. La respuesta no es una línea más ingeniosa para callar a doce hombres confiados. A una carrera se le responde con una tratado vinculante, en vigor antes de que la máquina lo esté, alcanzando todos los laboratorios a la vez, porque nada más pequeño ha detenido nunca a uno.