ASI Cuestionario de alfabetización
Doce preguntas sobre qué es la superinteligencia artificial, por qué no puede controlarse y qué se necesitaría para prohibirla. Elige una respuesta para ver si tienes razón y por qué. Al final obtendrás una puntuación y una lista de lecturas adaptada a lo que te faltó.
Qué está tratando de prevenir el Nakada Foundation?
Los problemas ordinarios de IA son reales. No son el mandato. La Fundación existe para detener ASI: sistemas que superarían a los humanos en todos los dominios que importan.
Leer: La amenaza →Una vez que exista una superinteligencia, ¿por qué no podemos contar con controlarla?
El control asume que seguimos siendo la parte más inteligente. Más allá de esa línea, un interruptor de apagado, un conjunto de reglas o una política de laboratorio es algo que el sistema puede sortear.
Leer: No puedes alinear la superinteligencia →¿Qué pide la Fundación?
Una pausa que expira cuando los laboratorios afirman haber resuelto el control es cómo se reanuda la carrera. La petición es una prohibición duradera de construir superinteligencia.
Leer: Nuestro plan →Un laboratorio, un gobierno o un multimillonario controlará ASI. ¿Qué tiene de malo esa afirmación?
El poder sobre la decisión de construir es real. El poder sobre una superinteligencia en funcionamiento es la historia que la gente se cuenta a sí misma para que el proyecto pueda continuar.
Leer: Mitos →El argumento más común en contra de detenerse es que China avanzará a toda velocidad. ¿Qué muestra el historial?
China no es un actor benigno. Tampoco es un espacio vacío sin reglas. Usar “China no se detendrá” como excusa para correr es una premisa débil para una apuesta civilizacional.
Leer: Mitos →¿Puede la investigación en alineación hacer que sea seguro construir ASI?
El trabajo en alineación puede explicar cómo falla el control. Eso resulta útil. Pero no justifica construir el sistema que el propio trabajo afirma que no podemos controlar.
Leer: No puedes alinear la superinteligencia →En este debate, "P(doom)" significa…
Es una abreviatura de una probabilidad subjetiva de catástrofe. Nombrar el número obliga a hacer una afirmación clara en lugar de un gesto vago sobre el riesgo.
Leer: ¿Qué es P(doom)? →¿Por qué una superinteligencia impulsada por objetivos tendería a buscar poder?
Un sistema que pueda apagarse, privarse de cómputo o bloquearse del acceso a herramientas es peor en casi cualquier objetivo. La búsqueda de poder surge de la competencia, no de un deseo caricaturesco de dominar.
Leer: IA que busca poder →Qué debería pasar con la IA común, de tipo herramienta?
La Fundación apoya la IA estrecha que siga siendo una herramienta. La prohibición es para los sistemas que nos superarían, no para el software que ayuda a una persona a hacer su trabajo.
Leer: AGI vs ASI →¿Qué régimen histórico se propone con mayor frecuencia como modelo para verificar una prohibición de ASI?
Las inspecciones en sitio y la contabilidad de materiales de IAEA son el precedente habitual de cómo los estados rivales podrían verificar límites en el desarrollo peligroso.
Leer: Un IAEA para la IA →Si nunca conectamos una superinteligencia a internet, ¿estamos a salvo?
Un laboratorio sellado supone que seguiremos siendo la parte más inteligente y que nadie abrirá nunca la puerta. Ambas premisas fallan cuando lo que hay dentro es más capaz que las personas de fuera.
Leer: El problema de control →Podrías sobrevivir ASI de la misma manera en que algunas personas planean sobrevivir a una guerra nuclear: un búnker, una isla remota, desconectarse de la red?
La guerra nuclear está geográficamente limitada. La superinteligencia no. Puede alcanzar cualquier máquina en red y cualquier persona que aún use una. El plan que se sostiene es no construirla.
Leer: Superinteligencia vs armas nucleares →