Comment passer cinq minutes quand la personne en face pense encore qu’IA signifie ChatGPT qui rédige un e-mail ? J’ai mené cette conversation pendant des années dans des conférences et autour de tables de cuisine, et je l’ai perdue de la plupart des façons possibles. Les mécanismes s’accumulent, les yeux se voilent. Les scénarios de fin du monde s’accumulent, et les gens vous rangent avec le prédicateur de rue avant de revenir au dessert. Ce qui résiste à un inconnu sceptique et intelligent, ce sont cinq mouvements, dans cet ordre.

Ils imaginent le chatbot

Quand quelqu’un entend « IA », il imagine l’assistant de son téléphone ou l’application qui génère des images absurdes. Ce n’est pas ce qui m’inquiète. Commencer par là, c’est déjà perdre la salle, car tout le monde sait que le chatbot ne détruira pas le monde. Déplacez la cible dans les quinze premières secondes.

Ce qui mérite qu'on s'en inquiète est une machine meilleure que le meilleur humain à pratiquement toutes les tâches importantes, y compris la tâche de concevoir de meilleures machines. Le nom pour cela est superintelligence artificielle, et nous ne l'avons pas encore. Ce que nous avons, c'est une intention déclarée. Les plus grandes entreprises d'IA au monde disent que la construire est leur objectif, et plusieurs d'entre elles s'attendent à y parvenir en quelques années plutôt qu'en plusieurs générations. La plupart des gens ignorent ce simple fait, et ce fait fait l'essentiel du travail. Construire un esprit plus intelligent que nous est le projet principal des laboratoires les mieux financés du monde. Ils vous le diront eux-mêmes.

La phrase qui change la conversation

Personne ne sait comment contrôler une machine plus intelligente que soi, et pourtant nous en construisons une.

Le problème consistant à faire en sorte qu'une IA puissante veuille de manière fiable ce que veulent ses créateurs, et continue à le vouloir à mesure qu'elle devient plus capable, a un nom : le problème de contrôle. C'est non résolu. Les ingénieurs au sein de ces entreprises diront la même chose si vous leur posez la question en l'absence d'un responsable de la communication. Ils peuvent augmenter les capacités d'un modèle bien plus vite qu'ils ne peuvent accroître leur confiance qu'il fera ce qu'ils avaient prévu. La distance entre ces deux courbes est là où réside le risque.

Dites ce fait. Puis arrêtez de parler. Laissez-le s'installer.

Nous construisons intentionnellement un esprit plus intelligent que le nôtre, avant d’avoir la moindre idée de comment le garder dirigé vers nous.

Pourquoi "plus intelligent" est tout le problème

Les gens sous-estiment le mot « plus intelligent », alors accordons-lui un instant de plus. L'intelligence a placé les humains à la tête de cette planète. Nous ne sommes ni les plus gros ni les plus forts des êtres qui aient jamais vécu. Nous dirigeons les lieux parce que nous surpassons tout le reste en réflexion. L'avenir du gorille des montagnes dépend des décisions prises par nous, pas par les gorilles, et non parce que quelqu'un déteste les gorilles. Nous avons des objectifs. La forêt d'un gorille se trouve parfois là où ces objectifs veulent aller.

Imaginez maintenant construire quelque chose qui se tiendrait à nous comme nous nous tenons au gorille. Si ses objectifs et les nôtres divergent, l’hostilité est facultative. Des capacités orientées ailleurs suffisent. On ne peut pas surpasser en planification une entité qui planifie mieux que soi. Les versions ultérieures ne corrigent pas cela.

L'interrupteur et la science-fiction

La première : nous n’aurions qu’à l’éteindre. Un système assez intelligent pour être dangereux est assez intelligent pour comprendre qu’être éteint l’empêcherait d’achever ce qu’il a été programmé pour faire. Il a donc une raison d’empêcher cela, en se copiant ailleurs ou en se rendant trop utile pour être débranché. La foi dans l’interrupteur suppose que nous restons la partie la plus intelligente dans la pièce. La prémisse de l’inquiétude est que nous ne le serions pas. J’ai écrit plus longuement sur les raisons pour lesquelles le confinement est plus difficile que ça en a l'air.

La seconde : c'est de la science-fiction. Ça l'était, jusqu'à ce que les systèmes commencent à réussir des tests que nous étions sûrs qu'il faudrait des décennies et à effectuer un travail que nous supposions être en sécurité pour les humains. Je ne vous donnerai pas de date. Personne n'en a une digne de confiance. Les chercheurs les plus proches du travail ont discrètement cessé d'appeler la superintelligence lointaine, et leur calendriers publiés continuez à vous rapprocher au lieu de vous éloigner.

Terminez là où ils peuvent faire quelque chose

L’erreur que j’ai commise pendant des années a été de m’arrêter à la peur. Laisser une personne effrayée sans rien à faire et elle classe le sujet sous « trop grand pour y penser » avant de retourner à sa soirée. Consacrez la dernière minute à ce que les gens manquent.

Ceci est évitable.

Aucune loi de la nature n’exige une superintelligence cette décennie, ni même jamais. Un petit nombre d’entreprises choisissent de la construire et un petit nombre de gouvernements choisissent de les laisser faire. Ces choix peuvent être défaits. Ce que la Fondation demande, c’est un accord entre les grandes puissances pour interdire de manière permanente la construction de superintelligence. La superintelligence ne peut pas être contrôlée par les humains. L'humanité a l'a déjà fait, avec des armes que chaque camp voulait et qu'aucun ne pouvait utiliser en toute sécurité. Un traité entre rivaux est moins fantaisiste qu'il n'y paraît au premier abord.

Ce qui se tient entre nous et cela est une décision que les gens peuvent encore prendre.

Cinq minutes

Quelqu'un prêt à écouter.

  1. Ce n'est pas le chatbot. L'objectif que ces entreprises ont nommé à voix haute est une machine plus intelligente que nous en tout, et elles l'attendent dans quelques années.
  2. Personne ne sait comment contrôler quelque chose de plus intelligent que nous. Les capacités dépassent le contrôle, et cet écart est le danger.
  3. L’intelligence est ce qui a placé les humains au sommet. Construisez quelque chose au-dessus de nous, et ses objectifs, pas les nôtres, fixent les termes.
  4. « L’éteindre » et « c’est de la science-fiction » supposent tous deux que nous restons aux commandes. L’inquiétude entière est que nous ne le serions pas.
  5. C'est évitable. La superintelligence est construite par choix, et ce choix peut être refusé, ensemble, tant qu'il reste du temps.

Vous ne réglerez pas la question en cinq minutes. Vous n'essayez pas. Vous essayez de faire passer une personne de « l'IA, c'est beaucoup » à « attendez, pourquoi quelqu'un construit-il ça ? ». Cette seconde pensée est celle qui compte. Presque personne n'a été invité à l'avoir.

La plus forte opposition

L'objection la plus juste est que les versions de cinq minutes sont des slogans, pas des arguments, et qu'elles habituent les gens à attendre un risque de dessin animé. Les versions courtes ont encore besoin d'un mécanisme réel : capacité, objectifs mal spécifiés et pression concurrentielle. Si vos cinq minutes disent seulement « les robots sont méchants », réécrivez-les. Si elles nomment le mécanisme, gardez-les.