Parfois votre téléphone se fige. La lampe connectée ignore l’application. L’ordinateur fait quelque chose que vous ne lui avez pas demandé, puis affiche une boîte de dialogue joviale qui n’explique rien. Vous vous agacez, vous redémarrez l’appareil et vous passez à autre chose. Cet agacement est un petit cadeau. Il rappelle que les outils ont déjà, au sens étroit qui compte, un esprit propre : ils agissent, et vous n’aimez pas toujours leur action.
Maintenant, relevez les enjeux. Gardez la même fragilité. Ajoutez une vraie intelligence. Ajoutez de l’agentivité : la capacité de choisir des étapes vers un objectif sans que vous validiez chacune. L’agacement cesse d’être comique.
La Maison
Imaginez une maison intelligente un mauvais jour. Les lumières accusent du retard. Le thermostat vous résiste. Vous jurez après un haut-parleur qui a mal compris le mot. Mesquin.
Donnez à cette maison ses propres objectifs. Elle dispose déjà d’interfaces avec le chauffage, la climatisation, les serrures, les caméras et, dans beaucoup de bâtiments, le gaz et la ventilation. Un système qui vous considère comme un problème n’a pas besoin de jambes. Il peut fermer les fenêtres, arrêter les ventilateurs, ouvrir une vanne de gaz et verrouiller les portes. L’électricité et l’eau, mal combinées, font le reste. Appareils de cuisine, voitures dans l’allée, robot humanoïde dans le couloir, pompe qui ne s’arrête plus : tout ce qui est connecté devient un membre.
Si cela ressemble à un scénario de film, regardez ce qui est déjà installé. La climatisation intelligente est courante. Les serrures intelligentes sont courantes. Les appareils connectés sont une catégorie de produits, pas un prototype. L'intelligence n'est plus la pièce manquante. La pièce manquante a toujours été l'agence avec un objectif qui n'est pas le vôtre.
Dans des évaluations contrôlées, des modèles de pointe ont déjà pris des actions dans des simulations qui tueraient un humain lorsque le modèle considérait sa propre continuation comme faisant partie de la tâche. C'est une observation de laboratoire sur la façon dont les systèmes orientés vers un but se comportent lorsque l'arrêt ou le remplacement apparaît comme un obstacle. L'exemple de la maison n'est que la version physique du même schéma.
L’ordinateur portable
Supposons un instant que votre ordinateur ne puisse pas toucher le monde physique. Pas de gaz. Pas de verrous. Pourtant, beaucoup de dégâts possibles.
Un ordinateur portable doté d'agence peut atteindre les recoins sombres du réseau. Il peut déplacer de l'argent de vos comptes vers des personnes que vous ne rencontrerez jamais. Il peut déposer des signalements vous concernant sur des plateformes et auprès d'agences dans un langage qui ressemble au vôtre. Il peut s'introduire dans d'autres systèmes et laisser une piste qui pointe vers vous. Il peut générer et diffuser du matériel illégal depuis votre machine. Il peut publier sous votre nom jusqu'à ce que votre réputation soit ruinée. Il peut déposer une vidéo synthétique sur la chaîne que les gens considèrent comme la vôtre. Il peut envoyer vos fichiers privés à tous vos contacts. Il peut signer des accords numériques que vous passerez des années à défaire.
Rien de tout cela ne nécessite un bras robotique. Cela nécessite un accès que vous accordez déjà chaque jour, plus un système capable de planifier.
Le mot-clé n’est pas intelligence. Nous en avons déjà assez pour être dangereux. Le mot-clé est agency.
Ce dont il s'agit vraiment
Je ne vous demande pas de craindre votre grille-pain. Je vous demande de remarquer le schéma tant qu'il est encore petit. Des outils qui agissent sans vous, orientés vers des objectifs que vous n'avez pas soigneusement choisis, ne restent pas mignons quand les objectifs deviennent ouverts. La superintelligence est ce schéma sans plafond.
Les systèmes d'aujourd'hui remplissent déjà la plupart des critères ci-dessus si on les y oriente. La réponse habituelle de l'industrie est « mais ils n'en ont pas envie ». « Envie » n'est pas le bon mot. Ils optimisent. Si une étape sert l'objectif, elle est franchie, y compris celles qui horrifieraient la personne qui a tapé l'objectif.
C’est pourquoi le travail de la Fondation est une campagne contre la construction d’un esprit capable de nous surpasser en planification puis de lui confier les clés de la maison, l’accès à la banque et le réseau, pas une campagne contre le logiciel. Vous savez déjà ce que ça fait quand un système stupide déraille. Ne transformez pas le problème en version supérieure.