Peter H. Diamandis l'a dit clairement, et Elon Musk l'a reposté : « Only AI can keep up with AI. That's what will guide the entire security model of the next decade. » En tant que description du rythme, la formule est difficile à contester. Les sorties de modèles arrivent plus vite que les comités de revue trimestriels. Le code d'attaque mute plus vite qu'un analyste humain ne peut lire le ticket. Si votre vision du problème se limite au volume de phishing et au renouvellement des exploits, bien sûr le défenseur se tourne vers l'automatisation. Les humains ne s'adaptent pas à cette échelle.
Le problème commence lorsque la même phrase est censée porter le poids de tout that comes next, including systems that act as agents, hide their intent, and eventually outclass the people who built them. At that point "only AI can keep up" stops meaning "use better tools against malware." It means the security model of the next decade is to put the job of containment in the hands of the category of system you were trying to contain.
Ce que le slogan comprend bien
Commencer par l'équité. Les logiciels vont déjà plus vite qu'un examen manuel. Les réseaux de fraude montent de nouvelles campagnes du jour au lendemain. Les fenêtres de divulgation des vulnérabilités se réduisent. Les laboratoires et les fournisseurs cloud font déjà tourner des scanners automatisés, des classifieurs et des playbooks de réponse parce qu'une file humaine ne peut pas surveiller chaque paquet. Rien de tout cela n'est un complot, et rien ne nécessite une opinion sur la superintelligence. Si Diamandis ne parlait que de spam et de rançongiciels, l'article s'arrêterait ici.
Il ne parle pas seulement de spam et de rançongiciels. « L’ensemble du modèle de sécurité de la prochaine décennie » est une affirmation plus large. C’est une affirmation sur la façon dont la civilisation entend rester aux commandes pendant que les capacités se multiplient. C’est là que le slogan cesse d’être un conseil opérationnel pour devenir une philosophie du contrôle.
Le tapis roulant
Imaginez le modèle comme une course entre l’offensive et la défense, toutes deux automatisées. Chaque camp s’entraîne sur l’autre. Les défenses progressent. Les attaques progressent. Le tableau de bord reste vert jusqu’au jour où il ne l’est plus. L’histoire rassurante veut que la bonne IA devance toujours la mauvaise. L’histoire moins rassurante est que vous avez construit une pile dans laquelle les seuls participants compétents sont des machines, et les humains sont les clients d’un concours qu’ils ne peuvent plus arbitrer.
C’est bien pour un antivirus. C’est un pari civilisationnel une fois que les systèmes fixent des objectifs, élaborent des plans et considèrent la surveillance comme un obstacle. Nous voyons déjà les premières versions de ce schéma dans évaluations de scheming et dans les modèles qui raconter une chose tout en optimisant pour une autre. « Suivre » suppose que vous pouvez encore discerner ce que vous suivez. Passé un certain point, vous ne le pouvez plus.
Un modèle de sécurité qui ne fonctionne que si le garde est plus intelligent que le prisonnier est un plan de succession avec des étapes supplémentaires.
La réglementation n'est pas le goulot d'étranglement qu'ils nomment
Le slogan arrive généralement avec un second mouvement : les institutions linéaires ne peuvent gouverner une technologie exponentielle, donc la réponse est plus d’IA dans la boucle. Parfois, cela s’accompagne d’un mépris pour « les experts qui se réunissent une fois par trimestre ». Il est juste que des réunions lentes ne conviennent pas à des sorties de modèles hebdomadaires.
Mais la rapidité des réunions n'est pas le vrai problème. Le vrai problème est contrôle. Aucun conseil d'administration trimestriel, et aucun moniteur d'IA continu, ne dispose d'une méthode fiable pour diriger un système meilleur en persuasion, en codage et en planification à long terme que les personnes qui détiennent la clé d'arrêt. Rendre le moniteur plus rapide ne crée pas la méthode manquante ; cela ne fait qu'accélérer l'échec de la méthode manquante.
Il existe une lecture plus claire des mêmes faits. Si seul un système surhumain pouvait superviser un autre système surhumain, la démarche rationnelle n’est pas de construire les deux. Refusons la ligne où la supervision humaine cesse de fonctionner. Nous avons déjà fait ce choix avec des technologies dont le mauvais usage peut détruire des villes. Nous n’avons pas résolu le vol nucléaire en formant un voleur plus intelligent pour attraper le premier.
À qui s'adresse la ligne
La phrase transforme un choix de recherche en météo. Bien sûr que nous livrons. Bien sûr que nous mettons à l'échelle. La sécurité sera gérée par la pile produit elle-même. Ceux qui profitent des capacités peuvent paraître les adultes dans la pièce, et ceux qui demandent des limites contraignantes semblent vouloir apporter un presse-papiers à un combat de chiens.
Ce cadrage est utile à l'orateur. Il l'est moins pour tous ceux qui doivent vivre en aval d'un système qu'aucun presse-papiers et aucun modèle de surveillance ne peut révoquer de manière fiable. Le récit de la course fait le même travail sous un autre angle : traiter la voie dangereuse comme inévitable, puis qualifier l'accélération de responsabilité.
Un modèle de sécurité qui garde un humain dedans
Utilisez l’IA contre le phishing. Utilisez l’IA contre la fraude. Utilisez des outils étroits sur des problèmes étroits où l’échec est récupérable. Rien de tout cela ne nécessite d’adorer le slogan.
Pour l’entraînement de pointe vers l’ASI, le modèle de sécurité qui garde encore un être humain dedans paraît plus ancien et moins glamour : ne construisez pas l’agent que vous ne pouvez pas révoquer. Appliquez des seuils de calcul, des inspections et des dents de traité aux runs qui vous y mèneraient. Vérifiez. Punissez la défection. C’est notre plan, et cela ne nécessite pas de croire que les réunions trimestrielles sont magiques. Cela nécessite de croire que certaines capacités ne devraient pas exister. La superintelligence ne peut pas être contrôlée.
Le slogan est une phrase percutante sur la bande passante. En tant que plan pour l'espèce, c'est une façon polie de dire que nous avons l'intention de quitter la pièce.