El principio de precaución surgió del derecho ambiental y ahora está incorporado en instrumentos internacionales. Su formulación más conocida es el Principio 15 de la Declaración de Río de 1992: cuando hay amenazas de daños graves o irreversibles, la falta de certeza científica total no debe usarse como razón para posponer medidas costo-efectivas para prevenirlo. Variantes aparecen en todo el derecho de la Unión Europea y en tratados sobre clima, biodiversidad y sustancias peligrosas. El principio existe precisamente para situaciones en las que esperar la prueba significa esperar demasiado.

El principio sostiene que cuando una actividad amenaza un daño grave o irreversible, la ausencia de certeza científica plena no debe usarse para posponer medidas de protección. Esa regla es el fundamento jurídico más sólido para actuar sobre el riesgo de la IA antes de que una catástrofe demuestre el punto.

Por qué encaja tan bien con la IA

El caso del riesgo de la IA tiene una característica incómoda: los escenarios más graves no han ocurrido y no pueden demostrarse de antemano sin realizar el experimento. Los críticos usan esto para descartar la preocupación: sin pruebas, no hay problema. El principio de precaución es la respuesta directa. Fue creado para amenazas graves y potencialmente irreversibles pero aún no ciertas, e invierte la carga: la pregunta no es si la catástrofe está probada, sino si la posibilidad es lo suficientemente seria como para justificar una acción protectora dado lo que está en juego.

Dos características de la IA de frontera la acercan casi a un caso de manual del principio. El daño potencial está en el extremo más alto de la escala de gravedad, plausiblemente catastrófico e irreversible. Y la ciencia es genuinamente incierta, con expertos creíbles que asignan una probabilidad significativa a escenarios de pérdida de control y sin método fiable para descartarlos. Grave, irreversible, incierto: este es exactamente el perfil que el principio de precaución fue escrito para abordar.

Qué requiere la precaución en la práctica

  • Trasladando la carga de la prueba. Los desarrolladores de los sistemas más capaces deberían cargar con la responsabilidad de demostrar la seguridad antes del despliegue, en lugar de que la sociedad cargue con la de probar el peligro después del hecho, el modelo ya usado para los fármacos y las plantas nucleares.
  • Actuar antes de tener certeza. El gobierno no debe esperar a una catástrofe demostrada para justificar límites vinculantes, porque para los riesgos irreversibles la demostración es el desastre.
  • Proporcionalidad con lo que está en juego. La escala de la precaución debe coincidir con la escala del daño potencial; los riesgos de mayor gravedad justifican las medidas más fuertes.
  • La reversibilidad como prioridad. Cuando sea posible, mantener las opciones abiertas y evitar pasos que cierren la puerta a correcciones futuras, un principio directamente relevante para una tecnología que podría atrincherarse.

Las objeciones

El principio de precaución tiene críticos reales, y defenderlo con honestidad implica enfrentarlos. La objeción más fuerte es que, llevado al extremo, la precaución puede paralizar: casi cualquier actividad plantea algún riesgo catastrófico concebible, y un principio que dice «actuar contra todas las amenazas graves no probadas» podría justificar bloquear innovaciones beneficiosas por motivos especulativos. Los críticos también señalan que la precaución tiene sus propios costos (beneficios renunciados, incluida la posibilidad de que la IA misma pueda evitar otras catástrofes) y que estos deben incluirse en el cálculo.

Estos puntos no derrotan el principio; disciplinan su uso. La respuesta es que la precaución es una acción proporcional frente a amenazas que son tanto graves como respaldadas de forma creíble, sopesando los costos de actuar frente a los costos de no actuar, no «prohibir todo lo que podría concebiblemente salir mal». La IA de frontera califica no porque alguien pueda imaginar un mal resultado, sino porque expertos creíbles asignan una probabilidad real a una pérdida catastrófica e irreversible de control. El principio exige medidas proporcionales a ese riesgo específico y bien fundamentado, no una paralización total de la tecnología.

Para un riesgo irreversible, 'esperar la prueba' es lo opuesto, no la precaución. El principio de precaución existe para que no seamos requeridos a sufrir la catástrofe para ganar el derecho a prevenirla.

La base para actuar ahora

El principio de precaución importa para la gobernanza de ASI porque disuelve el argumento más común a favor de la demora: que no deberíamos regular hasta que los riesgos estén probados. En el derecho y en la ética, ese argumento falla precisamente para la clase de amenaza que representa la IA. Los daños graves, irreversibles e inciertos son el caso paradigmático para actuar antes de tener certeza, con la carga de la prueba sobre quienes crean el riesgo para demostrar que está contenido. Esto no define qué medidas deben tomarse; eso es trabajo de diseño de tratados, verificación y umbrales. Pero resuelve la pregunta previa de si es legítimo actuar bajo incertidumbre. Lo es, y el principio explica por qué.