Une singularité, en physique, est un point où une quantité explose et où les équations que l’on utilisait cessent de donner des réponses sensées. Le centre d’un trou noir en est l’exemple classique. Emprunter le mot à la technologie donne la singularité technologique : un point hypothétique où l’intelligence machine entraîne des changements si rapides et si profonds que notre capacité à prédire ou même à comprendre ce qui suit s’effondre.

Il s’agit d’une affirmation sur un horizon au-delà duquel le rythme du progrès piloté par l’intelligence dépasse la compréhension humaine, et non d’une affirmation selon laquelle un gadget précis apparaîtra.

D'où vient l'idée

La lignée mérite d'être connue, car le terme est employé de façon lâche. Le mathématicien John von Neumann a été paraphrasé dans les années 1950 en évoquant que le progrès technologique approchait une singularité essentielle dans l'histoire. En 1965, I.J. Good a décrit la explosion d'intelligence, le mécanisme sur lequel reposent la plupart des versions de la singularité. L'auteur de science-fiction et mathématicien Vernor Vinge a donné son nom et sa force à l'idée moderne dans un essai de 1993, en affirmant que la création d'une intelligence supérieure à l'humaine romprait le tissu de l'histoire prévisible. L'inventeur Ray Kurzweil l'a ensuite popularisée auprès d'un large public, situant une singularité autour de 2045 et y intégrant un récit plus large sur les tendances technologiques exponentielles.

Ce sont des affirmations différentes sous un même mot, ce qui explique en partie pourquoi la singularité suscite à la fois dévotion et haussements d’épaules.

Le moteur sous-jacent

Enlevez les fioritures et le mécanisme central est simple. Si vous pouvez construire une machine plus performante que les humains pour fabriquer des machines, y compris pour améliorer sa propre intelligence, alors l’amélioration s’auto-alimente. Chaque système plus intelligent est mieux à même de produire le suivant, et le rythme des progrès s’accélère au lieu de rester constant. Laissez tourner cette boucle et les capacités pourraient passer du niveau humain à un niveau bien supérieur en très peu de temps.

L’explosion de l’intelligence est le contenu réel derrière la plupart des usages sérieux du terme singularité. La prédiction d’imprévisibilité en découle : une fois que les systèmes s’améliorent eux-mêmes à la vitesse des machines, la trajectoire sort du champ où les prévisions humaines fonctionnent. Nous traitons ce mécanisme en détail dans son explainer personnel, et c'est là que se trouve la substance.

Les critiques

  • L'auto-amélioration pourrait se heurter à des limites strictes. L'intelligence pourrait rencontrer des rendements décroissants, des goulots d'étranglement de données ou des contraintes physiques qui aplatissent la courbe en une montée régulière plutôt qu'une explosion.
  • Le concept reste flou. Chaque partisan y met quelque chose de différent, et les versions les plus ambitieuses à la Kurzweil associent des prédictions de dates précises à un ton presque mystique qui suscite le scepticisme.
  • Les tendances exponentielles se courbent. Les courbes qui semblent explosives s'avèrent souvent être le début d'une forme en S qui se stabilise.

Ces arguments sont raisonnables, et aucun d'eux n'exige que la singularité soit fausse, seulement incertaine. L'erreur est de traiter le doute sur un événement dramatique et nommé comme s'il dissolvait le risque sous-jacent.

Pourquoi l'étiquette importe moins que le mécanisme

Vous pouvez rejeter entièrement le mot singularité, avec son relent de prophétie et ses dates précises, et conserver pourtant l'essentiel pour la politique. La vraie question est de savoir si l'intelligence artificielle pourrait progresser assez vite pour que le passage à des systèmes bien supérieurs aux nôtres se produise plus rapidement que nous ne pouvons superviser ou gouverner, et non s'il y aura un moment mystique en 2045. C'est une affirmation sur horizons et la vitesse de décollage, et il n'a pas besoin d'un grand cadre pour être alarmant.

Supprimez le mot si vous voulez. Le problème qu’il désigne, une transition trop rapide pour être pilotée, n’a pas besoin du mot pour être réel.

La préoccupation de la Fondation est cette version précise et dégonflée. Si l'approche d'une IA largement surhumaine pouvait être rapide, alors le seul moment fiable pour instaurer une gouvernance et conserver le contrôle est avant qu'elle ne commence, tant que les humains sont encore ceux qui décident. La pression concurrentielle atteindre ce seuil en premier ne fait que raccourcir la piste. Qu'on l'appelle singularité ou non, la réponse reste la même, et elle est notre plan.

La singularité ne doit jamais se produire

La position de la Fondation est l'interdiction, pas la prédiction. La superintelligence ne peut pas être contrôlée par les humains. L'horizon que ce mot désigne est un décollage au-delà du point où nous décidons encore. C'est le même franchissement que construire une superintelligence. La singularité ne doit jamais se produire.