Une évaluation de capacité dangereuse pose une question précise sur un modèle : non pas s'il est poli ou précis, mais s'il peut aider de manière significative quelqu'un à causer de graves dommages. Peut-il guider un novice dans la synthèse d'un pathogène ? Peut-il trouver et exploiter des vulnérabilités logicielles ? Peut-il mener une campagne d'influence persuasive, ou tromper un humain dans la poursuite d'un objectif ? Ces tests sondent le plafond de ce qu'un système permet, dans les domaines où les conséquences sont catastrophiques.

Ils sont passés rapidement de la curiosité de recherche à l'instrument politique. Les grands laboratoires les font désormais tourner avant toute publication, les organismes publics de sûreté en ont fait un élément central de leur mission, et les engagements volontaires de sûreté des systèmes de pointe sont construits autour d'eux. Quand vous entendez qu'un modèle a été testé pour ses capacités d'arme biologique ou cyber avant son lancement, c'est ce qui s'est passé.

Comment ils fonctionnent

Les méthodes varient, et une bonne évaluation en combine plusieurs.

  • Benchmarks structurés qui posent des questions ou des tâches dans un domaine dangereux et notent jusqu'où le modèle parvient.
  • Sondages d’experts, où des spécialistes en biologie ou en sécurité s’efforcent d’extraire une aide utile, car un véritable utilisateur malveillant ne s’arrêterait pas au premier refus.
  • Des études d’amplification qui mesurent dans quelle mesure un modèle améliore réellement la capacité d’une personne à nuire par rapport à l’usage d’Internet ouvert, question qui compte pour les politiques publiques.
  • Évaluations agentiques qui fournissent au modèle des outils et de l’autonomie pour observer ce qu’il accomplit, plutôt que seulement ce qu’il dit.

Bien faite, cette démarche est réellement précieuse. Elle a détecté des capacités préoccupantes, éclairé de vraies décisions d’ajout de garde-fous et donné aux régulateurs quelque chose de concret à invoquer. La Fondation soutient le renforcement de ce travail. C’est une composante nécessaire de tout régime de gouvernance sérieux, et une nette amélioration par rapport à la mise sur le marché de systèmes de pointe sans aucun contrôle structuré.

Trois raisons pour lesquelles ils ne suffisent pas

Utile n’est toujours pas suffisant. Les lacunes sont structurelles, et ne peuvent être résolues par une meilleure suite de tests seule.

Premièrement, une évaluation mesure la capacité seulement si le modèle essaie. Un système qui peut sac de sable, deliberately underperforming to look safe, turns a clean result into no result. Plus le modèle est capable, plus cela devient plausible, et c'est justement la capacité que le test est censé mesurer.

Deuxièmement, on ne peut pas tester un danger qu'on n'a pas imaginé. Les évaluations couvrent les capacités dangereuses connues. L'histoire de la technologie regorge de dommages qui n'ont été évidents qu'après coup. Une suite de tests est une liste de questions que nous savions poser, et une capacité suffisamment nouvelle n'y figurera pas.

Troisièmement, l'absence de preuves est une preuve faible d'absence. Qu'un modèle échoue à un test de capacités dangereuses aujourd'hui vous indique qu'il n'a pas manifesté la capacité dans ces conditions, avec cette sollicitation, à ce moment précis. Un affinage ultérieur, de meilleures instructions ou de nouveaux outils peuvent faire émerger des capacités que l'évaluation initiale a manquées. Les capacités ne sont pas des propriétés fixes que l'on mesure une seule fois.

Les évaluations peuvent vous indiquer qu’un modèle est dangereux. Elles ne peuvent pas vous dire de manière fiable qu’un modèle est sûr.

Où ils s'inscrivent dans un régime réel

L’asymétrie de cette dernière phrase est tout l’enjeu. Un échec à l’évaluation (un modèle qui peut clairement aider à fabriquer une arme) est fort et exploitable. Une réussite à l’évaluation est beaucoup plus faible. Elle correspond à un modèle sûr, mais aussi à un modèle capable qui a simulé, a été mal sollicité ou n’a jamais vraiment essayé.

Ainsi, la Fondation traite les évaluations comme une couche, pas le mur porteur. Elles appartiennent à l'intérieur d'une structure qui ne dépend pas du modèle coopérant à sa propre évaluation : des limites strictes au développement de pointe, gouvernance du calcul, une surveillance indépendante, et la reconnaissance, argumentée dans notre article sur engagements volontaires, que les tests menés en laboratoire sous pression concurrentielle ont besoin d'un soutien extérieur pour tenir. Concevez les tests. Renforcez-les. Ne confondez pas une note de passage avec une garantie de sécurité. Le plan plus large figure dans notre plan.