Le principe de précaution est issu du droit de l'environnement et est désormais intégré aux instruments internationaux. Sa formulation la plus connue est le Principe 15 de la Déclaration de Rio de 1992 : en cas de menaces de dommages graves ou irréversibles, l'absence de certitude scientifique complète ne doit pas servir de raison pour différer des mesures rentables visant à les prévenir. Des variantes apparaissent dans l'ensemble du droit de l'Union européenne et dans les traités sur le climat, la biodiversité et les substances dangereuses. Le principe existe précisément pour les situations où attendre la preuve signifie attendre trop longtemps.

Le principe veut que lorsqu’une activité menace de causer un dommage grave ou irréversible, l’absence de certitude scientifique complète ne doit pas servir à différer des mesures de protection. Cette règle constitue le fondement juridique le plus solide pour agir face au risque lié à l’IA avant qu’une catastrophe ne vienne le démontrer.

Pourquoi cela s'adapte si bien à l'IA

L'argument en faveur du risque lié à l'IA présente une caractéristique gênante : les scénarios les plus graves ne se sont pas produits et ne peuvent être démontrés à l'avance sans mener l'expérience. Les critiques s'en servent pour écarter la préoccupation : pas de preuve, pas de problème. Le principe de précaution y répond directement. Il a été conçu pour des menaces graves et potentiellement irréversibles mais pas encore certaines, et il inverse la charge de la preuve : la question n'est pas de savoir si la catastrophe est prouvée, mais si la possibilité est assez sérieuse pour justifier une action protectrice compte tenu de ce qui est en jeu.

Deux caractéristiques de l’IA de pointe en font presque un cas d’école pour ce principe. Le dommage potentiel se situe au plus haut niveau de gravité, plausiblement catastrophique et irréversible. Et la science est réellement incertaine, avec des experts crédibles attribuant une probabilité significative aux scénarios de perte de contrôle et aucune méthode fiable pour les exclure. Grave, irréversible, incertain : c’est exactement le profil que le principe de précaution est fait pour traiter.

Ce que la précaution exige en pratique

  • Transférer la charge de la preuve. Les développeurs des systèmes les plus capables devraient porter la charge de démontrer la sûreté avant déploiement, plutôt que la société ne porte la charge de prouver le danger après coup, le modèle déjà utilisé pour les médicaments et les centrales nucléaires.
  • Agir avant la certitude. La gouvernance ne devrait pas attendre une catastrophe démontrée pour justifier des limites contraignantes, car pour les risques irréversibles, la démonstration est la catastrophe.
  • Proportionnalité aux enjeux. L'ampleur des précautions doit correspondre à l'ampleur des dommages potentiels ; les risques les plus graves justifient les mesures les plus strictes.
  • La réversibilité comme priorité. Dans la mesure du possible, garder les options ouvertes et éviter les étapes qui ferment la porte à une correction future, principe directement pertinent pour une technologie qui pourrait s'enraciner.

Les objections

Le principe de précaution a de vrais critiques, et une défense honnête les prend en compte. L'objection la plus forte est que, poussé à l'extrême, il peut paralyser : presque toute activité comporte un risque catastrophique concevable, et un principe qui dit « agir contre toute menace grave non prouvée » pourrait justifier de bloquer des innovations bénéfiques sur des bases spéculatives. Les critiques notent aussi que la précaution a ses propres coûts (avantages sacrifiés, y compris la possibilité que l'IA elle-même évite d'autres catastrophes) et qu'il faut les intégrer au calcul.

Ces points ne réfutent pas le principe ; ils en disciplinent l'usage. La réponse est que la précaution consiste en une action proportionnée face à des menaces à la fois sérieuses et crédiblement étayées, en pesant les coûts de l'action contre ceux de l'inaction, et non en « interdisant tout ce qui pourrait concevablement mal tourner ». L'IA de pointe y répond non parce que quelqu'un peut imaginer un mauvais résultat, mais parce que des experts crédibles attribuent une probabilité réelle à une perte de contrôle catastrophique et irréversible. Le principe demande des mesures proportionnées à ce risque spécifique et bien étayé, pas un arrêt total de la technologie.

Pour un risque irréversible, « attendre la preuve » est le contraire de la prudence. Le principe de précaution existe précisément pour qu'il ne soit pas nécessaire de subir la catastrophe avant d'avoir le droit de l'empêcher.

La base pour agir maintenant

Le principe de précaution compte pour la gouvernance du ASI car il dissipe l’argument le plus courant en faveur du report, selon lequel il ne faudrait pas réglementer tant que les risques ne sont pas prouvés. En droit comme en éthique, cet argument échoue précisément pour la catégorie de menaces que représente l’IA. Les dommages graves, irréversibles et incertains constituent le cas paradigmatique d’une action avant la certitude, la charge de la preuve incombant à ceux qui créent le risque de montrer qu’il est maîtrisé. Cela ne détermine pas les mesures à prendre ; c’est l’objet de la conception des traités, de la vérification et des seuils. Mais cela tranche la question préalable de la légitimité d’agir dans l’incertitude. Elle existe, et le principe explique pourquoi.