Je crois qu'un jour, avec plus de physique que nous n'en maîtrisons en 2026, nous pourrons peut-être contrôler la gravité, ouvrir des trous de ver, voire voyager plus vite que la lumière. Selon les connaissances actuelles, ces choses sont impossibles. Je pense néanmoins que nous n'avons guère effleuré ce qui peut être connu. Je le vois comme un réalisme sur la jeunesse de notre science.
Un avenir que je n'ai jamais réussi à comprendre, peu importe le temps que j'y consacre ou le nombre de personnes avec qui j'en discute : un contrôle durable sur une entité plus intelligente que nous. Biologique ou mécanique. De cette planète ou d'une autre. Si l'autre esprit est plus intelligent que l'humanité, je ne vois pas comment l'histoire du contrôle tient.
Le tableau des scores
Attribuez-lui un chiffre brut pour que la forme soit difficile à esquiver. Considérons que la connaissance et les compétences totales de l'humanité tout entière, travaillant ensemble, valent 100. Une personne moyenne en détient une infime part, souvent un seul chiffre ou moins.
Imaginons maintenant que nous exécutions parfaitement chaque étape. Chaque être humain concerné, chaque laboratoire, chaque gouvernement. Aucun gaspillage, aucun retard. Nous mettons la totalité des 100 sur la table.
Donnez à l'autre camp un plafond plus élevé. Dites que son maximum est 200. Il n'a même pas besoin d'une bonne journée. À 51 % d'efficacité, il atteint encore 102. Il bat un total humain parfait tout en étant à moitié endormi.
Cet avantage paraît modeste sur le papier. Les vrais affrontements attendent rarement d’énormes écarts. Dans la guerre humaine, un camp n’a souvent eu besoin que d’un mince avantage en renseignement, logistique ou armement pour verrouiller une victoire décisive. Des marges minces aboutissent tout le temps à des résultats totaux. Alors comment battre quelque chose de bien plus intelligent que nous, et non un quasi-pair?
Je ne vois pas la méthode. De meilleurs prompts ne suffiront pas. Ni un comité, ni une constitution que la partie la plus faible rédige pour la plus forte.
La physique n'est pas un adversaire
Les gens entendent la ligne de gravité et entendent une foi générale que les problèmes difficiles cèdent. Certains problèmes difficiles le font. Les forces et les matériaux ne sont pas des agents. Ils ne planifient pas autour de votre plan, ni ne cachent une stratégie parce qu'ils ont modélisé vos tests. Étendre la physique reste difficile. Gouverner un esprit qui surpasse les gouvernants est un genre de difficulté différent.
Le contrôle, dans tous les cas durables que nous connaissons, repose sur un fil : la force, la loi, le secret, l'interrupteur ou l'échec de l'autre camp à nous déjouer. La superintelligence est le projet d'effacer ce fil exprès. On essaie de superviser un joueur qui finira par vous battre à la supervision, à trouver les failles et à remarquer quand vous comptez débrancher.
J’ai entendu les versions optimistes. Nous grandirons avec elle. Nous fusionnerons. Nous l’élèverons avec amour. Nous la garderons en boîte jusqu’à en être sûrs. Chaque version suppose encore que le plus faible dicte durablement ses conditions au plus fort. J’admire le souhait. Je n’y trouve toujours pas le mécanisme.
Pourquoi la fondation existe
Si vous ne pouvez pas voir le contrôle, ne construisez pas la chose qui l'exige. Ce n'est pas un réquisitoire contre la technologie. Les outils étroits qui restent des outils peuvent continuer à améliorer la médecine, la science et l'industrie. La ligne est l'ASI : un esprit général qui nous surpasse dans tous les domaines et ne relève plus du commandement humain.
J’ai lancé le Nakada Foundation parce que cette ligne est traitée comme un calendrier d’ingénierie plutôt que comme un signal d’arrêt pour l’espèce. Les laboratoires courent. Les gouvernements parlent de victoire. Les travaux de sécurité supposent souvent la destination et tentent d’amortir le choc. Le choc est le problème. On ne peut pas s'aligner au-delà d'un écart d'intelligence que vous avez défini dans l'existence. L'argument plus large se trouve sur la menace et dans notre plan.
Je laisse encore place à des futurs qui ressembleraient à de la magie selon la physique actuelle. Je ne parierai pas l’espèce sur le fait que les humains contrôleront ce qui est plus intelligent qu’eux. La superintelligence ne peut pas être contrôlée par les humains. La démarche raisonnable est de ne pas la construire.