Je dirige une entreprise. J'aime les marchés. Les prix, la concurrence et le droit d'essayer quelque chose de nouveau ont rendu la vie plus ordinaire que n'importe quel plan quinquennal que j'ai jamais lu. Je veux un arrêt dur sur la superintelligence artificielle. Je fais l'argument d'un capitaliste, et cela commence par une distinction que le slogan du marché libre passe habituellement.
Les marchés excellent à allouer le capital quand le revers d’un mauvais pari reste local. Un restaurant fait faillite, et le propriétaire reloue l’espace. Un gadget ne marche pas, et les investisseurs passent leur perte par pertes et profits. Même une banque qui en fait trop peut, dans un système fonctionnel, être résolue sans mettre fin à l’espèce. La perte reste à l’intérieur d’un cercle que nous pouvons tracer.
La superintelligence n'est pas ce genre de pari. Les personnes qui la construisent disent, publiquement, qu'elles ne savent pas comment contrôler un système plus intelligent qu'elles sur tous les plans. Une course pour expédier ce système en premier n'est pas de la « destruction créatrice ». C'est une course pour placer un pari unique et irréversible dont chaque vie humaine est l'enjeu. Un capitalisme sans garde-fou contre ce genre de pari, ce n'est pas du capitalisme, c'est de la roulette russe avec une usine qui fabrique plus de chambres.
L'argument pour foncer en avant
Composés d'innovation. Chaque année de retard coûte des remèdes, des progrès scientifiques et un avantage national. Les gouvernements sont maladroits. Les traités fuient. Si un pays ralentit, un rival ne le fera pas, et le parti prudent perd deux fois : pas d'avance et pas de sécurité. La seule voie réaliste est de construire plus rapidement que tout le monde, de garder le plomb dans des mains amicales, et de fixer l'alignement le long du chemin.
C'est l'argument que vous faites quand vous n'avez pas payé le produit. Une piste n'a d'importance que si vous tenez toujours la chose que vous avez construite. Une superintelligence mal alignée est un agent qui surclasse les gens qui ont signé le cycle de financement : pas une société de portefeuille que vous pouvez contrôler, et pas un missile que vous visez. Pour y arriver d'abord, si vous ne pouvez pas le diriger, cela signifie être remplacé d'abord. Il n'y a pas de sortie. Il n'y a pas de série B après l'extinction.
Ce dont le capital a réellement besoin
Le capital a besoin d'un monde qui continue. Il a besoin de tribunaux, de propriété, de clients et d'un avenir dans lequel un contrat garde un sens. Une technologie qui peut mettre fin à tout cela n'est pas « juste une autre plateforme ». La traiter comme une application grand public parce que la démo ressemble à une fenêtre de chat est une erreur de catégorie qui s'accompagne d'un bilan humain.
Je ne demande pas aux marchés d’arrêter d’innover. L’IA étroite qui diagnostique des maladies, conçoit des matériaux ou accélère la logistique est le genre de progrès que je souhaite voir se multiplier. La ligne rouge, c’est la superintelligence : des systèmes conçus pour surpasser la cognition humaine dans tous les domaines alors que nous ne pouvons toujours pas vérifier que leurs objectifs restent compatibles avec les nôtres. Tracer cette ligne, c’est permettre au reste de l’économie de continuer à prospérer.
Un marché est une machine qui transforme le risque en progrès. Ce n’est pas un pacte suicidaire. Refuser une classe de paris, c’est ainsi que le jeu continue.
La réglementation comme infrastructure
Les gens entendent « régulation » et imaginent une taxe bureaucratique sur une startup. C'est compréhensible, quand la règle est absurde. Les règles qui m'importent ressemblent davantage à celles qui ont rendu les marchés de capitaux possibles dès le départ : on ne peut pas vendre des actions d'une fraude, on ne peut pas déverser du poison dans la rivière à côté de l'usine, on ne peut pas construire un réacteur nucléaire dans un sous-sol parce que le bénéfice semble excitant sur un transparent.
Un traité international qui interdit la création de superintelligence artificielle, avec une vérification où les puces et la formation fonctionnent effectivement, est l'une de ces règles. C'est une infrastructure pour la civilisation. Sans cela, chaque labo est dans le dilemme d'un prisonnier qui punit la prudence. Avec elle, le capital peut continuer à financer la moitié utile de l'IA sans financer la moitié qui mange le conseil.
Je veux que mes entreprises prospèrent dans un siècle qui compte encore des clients. C'est le minimum qu'exige un marché. Si vous vous dites capitaliste et que vous courez construire quelque chose que personne ne pourra posséder, vous ne défendez pas le capitalisme. Vous mettez le feu au grand livre et vous appelez cette lueur de la croissance.