Jason Wei y coautores de Google y otros lugares catalogaron tareas cuyo rendimiento se mantuvo cerca del azar hasta que la escala del modelo cruzó un umbral, y entonces subió bruscamente. Aritmética de varios pasos, preguntas de dominios especializados, instrucciones en idiomas apenas presentes en el entrenamiento, cadenas de pasos de razonamiento: ninguna de estas se diseñó como característica. Aparecieron a medida que crecían los modelos. El artículo las llamó habilidades emergentes.
Una capacidad emergente, en ese uso, es una habilidad que un modelo más pequeño no tiene y uno más grande sí, donde la transición parece menos una rampa suave y más un interruptor. Por debajo de cierta escala el modelo no puede realizar la tarea. Más allá de esa escala, sí puede. La capacidad no era legible a partir de la tendencia de los sistemas más pequeños.
Un debate real que vale la pena señalar
La emergencia no es ciencia establecida. Algunos investigadores sostienen que una parte de los saltos reportados es en parte un artefacto de medición: una métrica dura de todo o nada hace que el progreso subyacente constante parezca repentino, mientras que una métrica más suave muestra una mejora gradual. Esa crítica se aplica a casos específicos y merece una audiencia justa.
No disuelve el problema práctico. Ya sea que una capacidad llegue como una discontinuidad real o como una curva pronunciada que solo se nota después de cruzar un umbral, la situación de gobernanza es la misma. Nos enteramos de que un modelo puede hacer algo nuevo después de que pueda hacerlo, no antes. Para un responsable de políticas que decide si el siguiente entrenamiento es seguro para autorizarlo, la distinción entre emergencia genuina y una curva pronunciada es académica. En cualquier caso, la sorpresa queda del otro lado de la decisión.
¿Por qué la impredecibilidad es el problema central?
No podemos predecir de forma fiable, antes de entrenar un modelo más grande, la lista completa de cosas que podrá hacer. Las leyes de escalado pronostican razonablemente bien medidas amplias de rendimiento como la pérdida. No nombran qué habilidades específicas aparecerán, ni cuándo. La capacidad es más predecible en conjunto que en detalles.
Para la mayoría de las capacidades eso es solo interesante. Para las relevantes para la seguridad es alarmante. La misma impredecibilidad que produce un talento sorprendente para la traducción puede producir un talento sorprendente para las tareas que se abordan en evaluaciones de capacidades peligrosas: asistencia cibernética, ayuda para armas biológicas, manipulación a gran escala. Una capacidad que nadie anticipó es una capacidad que nadie probó ni para la que se construyeron salvaguardas.
Podemos pronosticar aproximadamente qué tan bueno será el próximo modelo en métricas promedio. No podemos pronosticar todo lo que podrá hacer. Esa brecha es donde reside el riesgo.
Qué significa para cómo escalamos
La emergencia convierte cada gran salto de escala en un paso hacia la penumbra parcial. Construyes un sistema cuyo perfil completo de capacidades solo conoces después de que exista. Para entonces, si vino con una capacidad peligrosa, el sistema ya la tiene. Ese es un riesgo distinto al de un peligro conocido que puedes medir y mitigar de antemano.
El argumento de la Fundación sigue directamente. El escalado de frontera no debería adelantarse a la capacidad de entender lo que se está creando. La carga debe recaer en demostrar que un sistema nuevo y grande es seguro antes de entrenarlo y desplegarlo, no en descubrir sus peligros después. Cuando las capacidades pueden llegar sin aviso, la precaución antes del salto es la única que ayuda. Ese marco está en nuestro plan. Los plazos cada vez más cortos que aumentan las apuestas se cubren en el AGI cronología.