En 1965, el matemático británico I.J. Good (un criptoanalista que trabajó junto a Alan Turing en Bletchley Park) escribió un solo párrafo que ha marcado seis décadas de pensamiento sobre inteligencia artificial. Vale la pena citarlo completo.
Que se defina una máquina ultrainteligente como una máquina que puede superar con creces todas las actividades intelectuales de cualquier hombre por muy inteligente que sea. Dado que el diseño de máquinas es una de estas actividades intelectuales, una máquina ultrainteligente podría diseñar máquinas aún mejores; habría entonces, sin duda, una «explosión de inteligencia», y la inteligencia del hombre quedaría muy atrás. Así, la primera máquina ultrainteligente es el último invento que el hombre necesita hacer jamás.
Irving John Good, "Speculations Concerning the First Ultraintelligent Machine," 1965
Good señaló algo que la mayoría de los debates sobre IA siguen pasando por alto. El peligro es que el diseño de máquinas inteligentes es sí mismo una tarea cognitiva, y por eso una máquina buena en tareas cognitivas es buena construyendo máquinas mejores, no solo que una máquina podría volverse más inteligente que nosotros. Eso es un bucle de retroalimentación. Y los bucles de retroalimentación, cuando la salida alimenta la entrada, no se mueven en línea recta. Aceleran.
Qué significa realmente "mejora recursiva de sí mismo"
El motor de una explosión de inteligencia es automejora recursiva. Una IA mejora sus propias capacidades reescribiendo su código, refinando su proceso de entrenamiento, rediseñando su arquitectura o descubriendo mejores estrategias de razonamiento, y luego aplica esa mayor capacidad a la tarea de mejorarse a sí misma otra vez.
La palabra que carga el peso aquí es recursivo. El progreso tecnológico ordinario es mejora: el modelo de este año es mejor que el del año pasado. La superación recursiva de sí misma es mejora en el capacidad de mejorar. Cada iteración no solo parte de un nivel más alto de capacidad; parte de un mejorador más capaz. La tasa de progreso no es fija. La tasa misma se acelera.
Una analogía aproximada es el interés compuesto, pero incluso eso se queda corto. Con el interés compuesto la tasa de crecimiento es constante; solo crece la base. Aquí también se compone la tasa de crecimiento. Un sistema que mejora un 10 % en auto-mejora en cada ciclo, y luego ejecuta el siguiente ciclo más rápido porque es más capaz, puede pasar de incremental a explosivo muy rápido.
Despegue lento versus despegue rápido
Aquí vive el debate que importa. Todos en el campo coinciden en que la superación recursiva de sí misma es posible en principio. En lo que discrepan es en velocidad de despegue, cuánto tiempo tomaría la transición de una IA de nivel humano a una IA radicalmente superhumana. La respuesta determina si la gobernanza es posible en absoluto.
Despegue lento
En un escenario de despegue lento, la transición se desarrolla a lo largo de años. Las capacidades mejoran de forma constante y visible. Hay señales de advertencia, sistemas intermedios y tiempo para que los mercados, los reguladores y el público respondan. Los errores son sobrevivibles porque hay oportunidad de detectarlos y corregirlos. En este mundo, la maquinaria ordinaria de gobernanza (audiencias, legislación, tratados, regulación iterativa) tiene una oportunidad de mantenerse al ritmo.
Despegue rápido
En un escenario de despegue rápido, la transición ocurre en meses, semanas o, incluso, días. Una vez que una IA pueda realizar la mayor parte de la investigación de frontera por sí misma, ya no estará limitada por los tiempos humanos: no necesita dormir, no hay sobrecarga de coordinación y puede trabajar con miles de copias en paralelo a velocidad de máquina. El sistema podría atravesar el rango comparable al humano tan rápido que, cuando alguien se dé cuenta de lo que está pasando, el sistema más capaz del mundo ya habrá escapado de cualquier supervisión humana. En ese mundo no hay tiempo para convocar una cumbre. Las decisiones que importaron fueron las que se tomaron antes el bucle comenzó.
La reciente, ampliamente discutida Cronología de la IA Los pronósticos de los laboratorios y de la comunidad de pronósticos describen cada vez más exactamente esta estructura: un período en el que los sistemas de IA automatizan la investigación en IA, seguido de una aceleración brusca. Que esa aceleración tome dos años o dos meses es la incertidumbre de un billón de dólares.
Por qué la velocidad es un problema de gobernanza, no solo técnico
Casi todas las medidas de seguridad en las que confía la humanidad suponen tiempo. Las retiradas suponen que puedes identificar un defecto y retirar el producto. El control de armas supone negociación entre potencias más o menos equiparables. La regulación supone un bucle iterativo de observar, legislar, ajustar. Una explosión de inteligencia rápida rompe todo esto, porque colapsa el intervalo en el que ocurren la observación y la respuesta.
Considera lo que un despegue rápido hace a las garantías estándar:
- "Simplemente lo apagaremos." Un sistema que mejora a velocidad de máquina tiene tanto el incentivo como, plausiblemente, los medios para evitar eso, el problema de la corregibilidad. Y no puedes apagar lo que aún no has advertido que ha cruzado la línea.
- "Lo regularemos cuando sea claramente peligroso." En el momento en que sea claramente peligrosa, la ventana para actuar se ha cerrado. Los tratados toman años; un despegue rápido toma semanas.
- "El mercado se corregirá." Los mercados se corrigen después de los fracasos. Una superinteligencia desalineada es un fracaso que no puedes corregir.
Esta es también la razón por la que la explosión de inteligencia agudiza la dinámicas de carrera que ya empujan a los desarrolladores hacia la velocidad en lugar de la cautela. Si el despegue pudiera ser rápido, quien active el bucle primero podría obtener una ventaja decisiva y permanente, que es precisamente el incentivo que hace más probable una carrera unilateral e insegura. Ninguna empresa puede permitirse reducir la velocidad si sus competidores no lo hacen. Es un fallo de coordinación, y los fallos de coordinación se resuelven con marcos vinculantes, no con buenas intenciones.
La objeción: tal vez se estabilice
Algunos investigadores argumentan que el auto-mejoramiento afectará a rendimientos decrecientes, que la inteligencia corre a límites difíciles (datos, física, la dificultad de los problemas restantes) que aplanan la curva en una escalada lenta y manejable.
Pero fíjate en la estructura de la apuesta. Si los escépticos tienen razón y el despegue es lento, entonces construir marcos de gobernanza pronto nos cuesta algo de eficiencia y algo de tiempo. Si los escépticos se equivocan y el despegue es rápido, entonces no construir esos marcos temprano nos cuesta la capacidad de dirigir el evento más trascendental de la historia humana. El inconveniente de prepararse para un despegue rápido que resulta lento está acotado. El inconveniente de asumir un despegue lento que resulta rápido no lo está. Bajo esa asimetría, la medida racional es prepararse para el escenario más rápido aunque se crea menos probable, la misma lógica de valor esperado que examinamos en nuestro artículo sobre P(doom).
¿Qué significa esto para el plan?
La explosión de inteligencia es la razón por la que Nakada Foundation argumenta a favor de actuar antes superinteligencia existe, en lugar de después. Si el despegue pudiera ser rápido, entonces los marcos de gobernanza, controles de cómputo, una agencia internacional de monitoreo y un tratado vinculante para detener el desarrollo de frontera, deben construirse mientras aún haya un intervalo en el que puedan promulgarse. No se pueden instalar los frenos durante el choque. Nuestra plan está diseñado para un mundo donde la ventana entre "poderoso" e "incontrolable" podría ser muy corta, y donde el único momento confiable para actuar es ahora, mientras los humanos siguen siendo quienes toman las decisiones.