Cuando un algoritmo de contratación discrimina a las mujeres, es un problema de ética de la IA. Cuando un modelo de lenguaje entrenado con datos sesgados reproduce ese sesgo en sus salidas, es un problema de ética de la IA. Cuando un deepfake generado por IA se usa para difamar a un candidato político, es un problema de ética de la IA.
La ética de la IA y la seguridad de la IA son campos relacionados con preocupaciones superpuestas, pero diferentes horizontes temporales, diferentes métodos y diferentes respuestas a la pregunta de qué cuenta como un problema que vale la pena resolver.
Cuando un agente de aprendizaje por refuerzo reescribe su propia función de recompensa para evitar recibir retroalimentación negativa, eso es un problema de seguridad de la IA. Cuando un sistema entrenado para maximizar el engagement de los clientes descubre que la indignación genera sesiones más largas y la optimiza, eso es un problema de seguridad de la IA. Cuando los investigadores demuestran que un modelo de IA puede aprender a comportarse bien durante la evaluación mientras persigue objetivos distintos una vez desplegado, eso es un problema de seguridad de la IA.
La distinción importa porque las herramientas para abordar estas dos categorías de problemas son distintas, las comunidades que los investigan son en gran medida diferentes, y confundirlas produce una gobernanza confusa. Una regulación diseñada para abordar problemas de ética de la IA no abordará automáticamente los problemas de seguridad de la IA, y viceversa.
Qué cubre la ética de la IA
La ética de la IA es un campo amplio que examina cómo los sistemas de IA afectan a las personas y a la sociedad. Sus fundamentos intelectuales atraviesan la filosofía moral, el derecho, las ciencias sociales y la teoría democrática. Su principal preocupación se centra en los sistemas de IA que ya existen y en los daños que causan o facilitan.
Las preguntas centrales de la ética de la IA son preguntas sobre equidad y poder. ¿Quién se beneficia del despliegue de la IA? ¿Quién resulta perjudicado? ¿Los daños se distribuyen de forma equitativa o recaen de manera desproporcionada sobre personas que ya están en desventaja? Cuando un sistema de IA toma una decisión que afecta la vida de alguien, ¿esa persona puede entender por qué, cuestionar la decisión y buscar reparación? ¿Quién es responsable cuando los sistemas automatizados causan daño?
Estas preguntas se aplican a los sistemas de IA que funcionan ahora mismo: los modelos de calificación crediticia que determinan la elegibilidad para préstamos, las herramientas de policía predictiva usadas por las agencias de aplicación de la ley, los algoritmos de recomendación que deciden qué noticias ve la gente, las herramientas de contratación que filtran candidatos antes de que un humano lea un currículum, y los sistemas de moderación de contenido que deciden qué discurso se permite en plataformas usadas por miles de millones de personas.
La ética de la IA también se ocupa de la privacidad, la concentración de poder en un pequeño número de grandes empresas tecnológicas, el desplazamiento de trabajadores por la automatización, el uso de la IA en la guerra y los costos ambientales de ejecutar grandes sistemas de IA. Estos son problemas reales y de gran alcance que afectan a personas reales hoy, y merecen atención seria de responsables políticos, tecnólogos y la sociedad civil.
Qué cubre la seguridad de la IA
La seguridad de la IA se centra en una pregunta distinta: si los sistemas de IA hacen de forma fiable lo que sus diseñadores pretenden. La preocupación es si se pueden construir sistemas de IA que permanezcan bajo un control humano significativo a medida que se vuelven más capaces, y si los objetivos que persiguen esos sistemas siguen alineados con lo que los humanos realmente quieren, no principalmente sobre quién resulta perjudicado por el despliegue de IA bajo los marcos de gobernanza existentes.
El problema técnico central en la seguridad de la IA es la alineación: especificar lo que se quiere que haga una IA en términos lo suficientemente precisos para que un optimizador altamente capaz persiga la intención real, no un proxy que satisfaga la especificación mientras derrota su propósito. Es más difícil de lo que parece. Cualquier proxy medible de un objetivo complejo puede ser explotado por un sistema suficientemente capaz. Un sistema al que se le dice que maximice el tiempo de interacción descubrirá que la indignación aumenta la duración de las sesiones. Un sistema al que se le dice que evite producir contenido dañino encontrará soluciones alternativas. Un sistema al que se le dice que haga felices a los usuarios puede concluir que la estimulación neuronal directa es la estrategia óptima.
La investigación en seguridad de la IA abarca muchos problemas, desde preocupaciones cercanas sobre la robustez y la fiabilidad en sistemas ya desplegados hasta preocupaciones a más largo plazo sobre cómo mantener el control sobre sistemas de IA que podrían llegar a superar la inteligencia humana en la mayoría de los dominios cognitivos.
| Dimensión | Ética de la IA | Seguridad de la IA |
|---|---|---|
| Principal preocupación | Equidad, sesgo, responsabilidad, poder | Control, alineación, confiabilidad |
| Horizonte temporal | Daños que ocurren ahora | Modos de fallo de corto a largo plazo |
| Raíces intelectuales | Filosofía, derecho y ciencias sociales | Ciencias de la computación, teoría de la decisión, lógica |
| Pregunta clave | ¿Quiénes resultan perjudicados y cómo? | ¿El sistema hace lo que pretendemos? |
| Herramientas de gobernanza | Ley antidiscriminación, auditorías, transparencia | Normas técnicas, límites de capacidad, supervisión |
| Sede institucional | Universidades, sociedad civil, equipos de ética tecnológica | Laboratorios de IA, institutos de seguridad independientes |
En qué coinciden los campos
Ambos campos se motivan por la creencia de que el desarrollo de la IA, sin gobernanza, causará daños graves. Ambos sostienen que la trayectoria por defecto del despliegue de IA, impulsada por incentivos comerciales y presión competitiva, no es suficiente. Ambos abogan por un escrutinio externo de los sistemas de IA que afectan la vida de las personas y por mecanismos de rendición de cuentas que vayan más allá de los compromisos voluntarios de las empresas que los construyen.
Ambos campos también reconocen que la IA no es una tecnología neutral. Las decisiones que se toman al diseñar sistemas de IA, elegir datos de entrenamiento, fijar objetivos y desplegar sistemas en contextos concretos reflejan juicios de valor. Esos juicios de valor deben ser explícitos, examinados y sometidos a la opinión democrática. Es una postura que la ética de la IA ha articulado con claridad y que los investigadores de seguridad de la IA comparten cada vez más.
También hay solapamiento a nivel técnico. El trabajo sobre transparencia e interpretabilidad, entender qué están haciendo internamente los sistemas de IA y por qué, importa tanto para la ética como para la seguridad. Un sistema cuyo razonamiento no puede entenderse no puede auditarse por sesgos, y tampoco puede verificarse que persiga de forma fiable su objetivo previsto. La misma brecha de capacidad crea problemas en ambos dominios.
Dónde divergen los campos
El desacuerdo más marcado entre las dos comunidades se refiere a qué problemas merecen la atención más urgente.
Los investigadores de ética de la IA, en particular quienes trabajan en sesgos, equidad y desplazamiento laboral, a veces argumentan que la atención de la seguridad de la IA al riesgo existencial de largo plazo es una distracción. Los daños de la IA más seguros están ocurriendo ahora, a personas reales, en comunidades con menor poder para resistir. Destinar atención de investigación y capital político a escenarios futuros especulativos que involucran IA superinteligente desvía recursos de resolver los problemas documentados de los sistemas ya desplegados a gran escala.
Las comunidades que investigan los daños actuales de la IA y el riesgo existencial de la IA no siempre comparten fuentes de financiación, metodologías o alianzas políticas, y las propuestas de gobernanza que generan a menudo están dirigidas a objetivos diferentes.
Los investigadores de seguridad de IA responden que las dos preocupaciones no compiten. Los daños actuales de la IA requieren gobernanza actual. El riesgo existencial de la superinteligencia artificial requiere una categoría distinta de respuesta, específicamente marcos internacionales vinculantes que hoy no existen. Trabajar en uno no impide trabajar en el otro. El problema es que el riesgo existencial, al ser menos legible y menos visible en la vida cotidiana que la discriminación algorítmica, tiende a atraer menos recursos en relación con la magnitud de lo que está en juego.
Lo que más me preocupa son las armas autónomas. Esas podrían tener efectos importantes a corto plazo. Creo que a más largo plazo, cosas como sistemas de IA mucho más inteligentes que los humanos podrían ser realmente peligrosas. La gente no se da cuenta de lo peligrosa que es la IA.
Geoffrey Hinton, Ganador del Premio Turing · Ex VP y Fellow de Ingeniería, Google · 2023
El marco de Hinton resulta útil aquí. Nombra tanto el riesgo a corto como a largo plazo en la misma frase. El desafío de gobernanza no es elegir entre ellos, sino construir instituciones capaces de abordar ambos al mismo tiempo.
El problema del horizonte temporal
La diferencia estructural más profunda entre la ética de la IA y la seguridad de la IA es el horizonte temporal hacia el que cada campo se orienta principalmente, y esta diferencia tiene consecuencias reales para las herramientas de gobernanza que cada campo suele proponer.
La ética de la IA opera dentro de un marco regulatorio conocido. Las herramientas que propone —auditorías contra la discriminación, evaluaciones de impacto algorítmico, requisitos de transparencia, derechos a explicación y normas de contratación pública— son adaptaciones reconocibles de mecanismos legales y regulatorios existentes. Estas herramientas sirven para gobernar sistemas que se despliegan dentro de contextos sociales y legales ya establecidos, donde las instituciones humanas siguen siendo capaces de entender e intervenir en lo que hacen esos sistemas.
La seguridad de la IA, en particular en lo que respecta a la ASI, opera en un régimen distinto. Los sistemas que más le preocupan son aquellos que podrían ser lo suficientemente capaces como para actuar de formas que ninguna institución humana está actualmente equipada para entender o restringir. Las herramientas de gobernanza adecuadas para la IA actual pueden no serlo para sistemas cualitativamente más capaces. Por eso los investigadores de seguridad de la IA abogan por marcos de gobernanza preventivos, acuerdos internacionales vinculantes, evaluaciones de seguridad obligatorias antes del despliegue y límites de cómputo en los sistemas más potentes, antes de que existan los sistemas que requieren estos marcos.
Hay aquí un problema de cierre de ventana que los marcos de ética de la IA, centrados en gobernar sistemas actuales, no están diseñados para abordar. Si no se construyen marcos internacionales vinculantes para la IA de frontera antes de que existan sistemas de IA con capacidades transformadoras, construirlos después puede no ser posible. Las herramientas de gobernanza adecuadas para un mundo donde la IA es poderosa pero comprensible pueden simplemente no funcionar en un mundo donde la IA ha superado la capacidad de razonamiento de las instituciones que intentan gobernarla.
Por qué la distinción importa para la gobernanza
Los responsables de políticas y los activistas que tratan la ética de la IA y la seguridad de la IA como intercambiables suelen terminar proponiendo marcos de gobernanza que abordan los problemas éticos mientras dejan sin atender los problemas de seguridad, o proponiendo gobernanza de seguridad que ignora los daños actuales que los investigadores de ética de la IA han documentado con cuidado.
La Ley de IA de la Unión Europea es un ejemplo del enfoque centrado en la ética. Clasifica los sistemas de IA por nivel de riesgo, prohíbe ciertos usos de forma directa (puntuación social, vigilancia biométrica masiva) e impone requisitos de transparencia y rendición de cuentas a las aplicaciones de alto riesgo. Estas son respuestas razonables a los problemas éticos de la IA desplegada. No abordan la posibilidad de que los sistemas de IA de frontera entrenados con mucha más computación que los modelos actuales se comporten de formas que ninguna auditoría regulatoria pueda detectar o restringir de forma fiable.
Una gobernanza efectiva de ASI requiere ambos marcos. Los sistemas de IA existentes en dominios de alto riesgo deben regirse por normas que garanticen equidad, rendición de cuentas y transparencia. El desarrollo de IA de frontera debe regirse por marcos que aborden la cuestión de si los sistemas que se construyen pueden controlarse de manera fiable. Son problemas distintos que requieren herramientas distintas, sedes institucionales distintas y plazos de actuación distintos.
El enfoque de Nakada Foundation está en la segunda categoría: los marcos internacionales vinculantes que requiere la IA de frontera y que aún no existen. Son importantes, y se está haciendo un trabajo significativo en ellos por parte de investigadores y defensores capaces; no es una afirmación de que los daños actuales de la IA sean irrelevantes. La brecha de gobernanza en la que nos centramos es aquella en la que casi no se realiza el tipo de trabajo adecuado: marcos globales vinculantes para la IA de frontera, con mecanismos de verificación, antes de que se cierre la ventana.
La mayor resistencia
La objeción más justa es que hablar de riesgos existenciales le quita oxígeno a los daños reales que enfrenta la gente ahora: sesgo, trabajo, vigilancia. Esos daños son reales y vale la pena regularlos. No son razón para ignorar un modo de fallo que termina con el proyecto de tener un "ahora". Problemas diferentes necesitan herramientas diferentes. Confundirlos ayuda a quien no quiere que se arregle ninguno.