« On construit l'avion en le pilotant. » Cette phrase est un favori de la tech depuis des décennies et s'est confortablement installée dans l'IA. Elle arrive avec un demi-sourire, façon d'assumer un bidouillage qui a marché, et se veut un hommage au culot. Prise au pied de la lettre, c'est un aveu.

La métaphore emprunte un prestige réel. Le transport aérien commercial est le meilleur bilan de sécurité de notre espèce : une activité qui tuait ses pilotes en routine il y a un siècle présente aujourd’hui un taux d’accidents mortels assez bas pour être compté par million de départs plutôt que par millier. Ce bilan est authentique. La méthode qui l’a produit mérite qu’on s’y intéresse, car ni l’une ni l’autre de ses composantes ne résiste au contact de ce que nous construisons aujourd’hui.

Derrière chaque règle se trouve un corps

L'aviation est devenue sûre grâce aux crashes.

Sur une piste embrumée à Tenerife en mars 1977, deux 747 sont entrés en collision et 583 personnes sont mortes, toujours l’accident le plus meurtrier de l’histoire de l’aviation. Il en est résulté une phraséologie radio standardisée et la promotion de la gestion des ressources de l’équipage, la discipline qui permet à un officier subalterne de contredire un commandant de bord. Un incendie dans les toilettes d’un vol Air Canada 797 en 1983 a tué 23 des 46 personnes à bord et a conduit à l’installation de détecteurs de fumée dans les toilettes, d’extincteurs automatiques dans les poubelles, d’un éclairage d’évacuation au niveau du sol et de matériaux de sièges bloquant le feu. Le vol ValuJet 592 s’est écrasé dans les Everglades en 1996 avec 110 personnes à bord, et les règles relatives au transport de générateurs d’oxygène chimique en fret ont été réécrites.

L’industrie a un nom pour ce schéma, et ce n’est pas un compliment : la mentalité du pierre tombale. Le régulateur n’agit qu’une fois les cercueils comptés. L’aviation a passé des décennies à s’en sortir avec un réel succès, grâce à des signalements confidentiels d’incidents évités de justesse par les équipages et à un bureau d’enquêtes sur les accidents qui publie ses conclusions pour que les concurrents puissent les lire. Ces réformes sont le modèle auquel les gens se réfèrent quand ils affirment que l'IA peut être rendue sûre de la même manière. Mais remarquez ce que même la version réformée exige. Il faut qu'un incident se produise, à une échelle que l'industrie survive, suffisamment souvent pour que le schéma apparaisse. La boucle d'apprentissage repose sur des échecs qu'elle peut se permettre.

Ce que l'aviation refuse de faire

L’autre moitié de la méthode est entièrement omise de la métaphore. L’aviation ne met pas un nouvel avion en l’air pour voir ce qui se passe. Un nouveau type ne peut transporter de passagers payants tant que le constructeur n’a pas prouvé sa navigabilité à un régulateur ayant le pouvoir de refuser : des années d’analyses et d’essais en vol, la charge de la preuve reposant sur le constructeur. L'argument doit être présenté à l'avance, par écrit, à quelqu'un habilité à dire non.

Personne dans l'aviation ne construit l'avion tout en le pilotant. L'industrie l'a interdit. Un aéronef certifié de la manière dont un modèle de pointe est publié volerait sur la seule base du mémo du fabricant affirmant que tout semble correct.

Le 737 MAX

L'aviation a déjà mené une expérience proche de la nôtre, et le résultat mérite qu'on s'y attarde.

Le 737 MAX de Boeing embarquait un logiciel appelé MCAS doté de l'autorité de pousser le nez de l'appareil vers le bas. La plupart des équipages volant sur cet avion ne savaient pas qu'il était là. Il tirait son image du monde d'un seul capteur, et lorsque ce capteur mentait, MCAS faisait exactement ce pour quoi il avait été construit et a envoyé deux avions au sol contre les mains des pilotes. Lion Air 610, octobre 2018 : 189 morts. Ethiopian 302, quatre mois plus tard : 157 morts. La flotte mondiale a été clouée au sol après le second.

Comparez les conditions de cet échec aux nôtres. Une culture de sécurité mature, un régime de certification obligatoire, des enregistreurs dans la queue, des milliers de professionnels formés. Il a quand même fallu 346 morts pour établir qu'un logiciel détenant l'autorité de contrôle et une croyance erronée sur le monde ne cédera pas parce que les humains dans le cockpit ne sont pas d'accord avec lui. Une partie du travail de certification sur le MAX avait été déléguée par le régulateur à des employés de Boeing eux-mêmes, ce qu'il convient de garder à l'esprit la prochaine fois qu'un laboratoire note lui-même sa propre version.

Et MCAS ne voulait rien. Il n'avait aucun modèle des pilotes et aucune vue sur le fait d'être éteint. C'était un modeste morceau de code avec un réflexe brut, et il a battu tout le monde.

Prenons maintenant la phrase au sens littéral

L’avion de la métaphore transporte tout le monde. Pas 583, pas 346. Tout le monde vivant, et tous ceux qui pourraient encore naître. Il n’y a pas d’aéroport de déroutement ni de second avion à modifier une fois que le premier s’écrase. La boucle crash, enquête, correction qui a rendu le vol sûr est abordable parce que les crashes sont bornés et qu’il y a toujours un vol suivant pour appliquer la leçon. Appliquer cette boucle à la superintelligence artificielle et le premier point de données emporte les passagers et les enquêteurs avec lui. L'essai-erreur a besoin de survivants.

Celui-ci piloterait seul, choisirait sa propre destination et comprendrait le mécanicien mieux que celui-ci ne le comprend. Toutes les sécurités de l'aviation supposent que la machine n'a aucun avis sur le fait d'être réparée. Cette hypothèse est le problème de contrôle.

L'aviation a mérité son bilan de sécurité en s'écrasant à une échelle que le monde pouvait absorber. Toute la méthode repose sur l'existence d'un prochain vol.

Le terrain est un choix

Les gens emploient l’expression pour décrire une situation sans issue : l’avion est déjà en l’air, autant apprendre à le construire en vol. La leçon réelle de l’aviation va dans l’autre sens. Le pouvoir du régulateur n’a jamais résidé principalement dans l’enquête. Il résidait dans le pouvoir de garder l’appareil au sol. Un certificat de navigabilité est une autorisation de décoller, refusée tant que le dossier n’est pas établi.

On nous dit que la seule option est de voler et de régler les problèmes en route. Il en existe une autre. Une interdiction contraignante et vérifiable de construire une intelligence artificielle superintelligente est la norme aéronautique appliquée honnêtement : ne pas construire un esprit plus intelligent que ses créateurs. La superintelligence ne peut être contrôlée, donc elle ne décolle pas. C'est notre plan, et cela ne demande rien du monde que le monde n'exige déjà d'un jet régional.