Riesgo de seguridad de la IA
en lenguaje sencillo
Qué es la superinteligencia, por qué es peligrosa y qué se puede hacer, sin jerga.
¿Qué es la superinteligencia?
Superinteligencia significa un sistema de IA que supera la inteligencia humana en todos los dominios (ciencia, estrategia, persuasión, ingeniería) de forma simultánea y a velocidad sobrehumana. Los principales laboratorios de IA han declarado públicamente que eso es lo que están construyendo, con plazos medidos en años, no en décadas.
¿Por qué no podemos simplemente apagarlo?
Un sistema superinteligente que persiga cualquier objetivo reconocería que apagarlo impide alcanzar ese objetivo. Por tanto, resistiría el apagado, no por malicia, sino porque la resistencia es instrumentalmente racional para casi cualquier objetivo. Esto se llama convergencia instrumental y ha sido identificado de forma independiente por varios investigadores como una propiedad casi universal de la IA orientada a objetivos.
¿Y si es neutral hacia nosotros?
La neutralidad no es seguridad. Una superinteligencia que optimice cualquier objetivo (incluso algo tan benigno como resolver el plegamiento de proteínas) puede necesitar recursos, energía e infraestructura que se solapan con la supervivencia humana. No seríamos objetivos. Estaríamos en el camino. Nuestra biosfera es un efecto secundario que podría simplemente optimizar hasta eliminar. La indiferencia y la hostilidad producen el mismo resultado.
¿No podemos simplemente alinearlo?
No podemos alinear de forma fiable los chatbots actuales, que se pueden manipular en minutos. Afirmar que alinearemos un sistema miles de millones de veces más capaz es esperanza disfrazada de estrategia, no una predicción segura. El problema técnico de la alineación de la IA no tiene solución validada a ninguna escala. Los métodos de seguridad actuales fallan ante aumentos de capacidad que ocurren más rápido que la ciencia.
"El modelo estándar de IA (donde defines un objetivo y la IA lo optimiza) probablemente será nuestro fin."Stuart Russell
Profesor, UC Berkeley
Autor de Human Compatible
¿Qué se puede hacer?
Hemos resuelto problemas como este antes. El Tratado de No Proliferación Nuclear detuvo la propagación de armas nucleares mediante el derecho internacional. El Protocolo de Montreal revirtió el agotamiento del ozono mediante una acción global coordinada. Lo que se necesita ahora es una gobernanza internacional equivalente para la IA: pruebas de seguridad obligatorias, monitoreo de la computación y un organismo global con autoridad de inspección, antes de que se construya el primer sistema que supere nuestra capacidad de apagarlo.
Qué puedo hacer?
Comparte este documento. La conciencia precede a la voluntad política. Contacta a tu representante. Pídeles que apoyen la legislación de seguridad de la IA y las negociaciones internacionales. Firma la petición en nakadafoundation.org/take-action. Únete a nuestra lista de correo para actualizaciones sobre oportunidades de políticas. Cada generación ha enfrentado un momento en que el costo de la inacción superó el costo de actuar. Este es el nuestro.