Quiz de littératie sur l'ASI
Douze questions sur ce qu'est l'intelligence artificielle superintelligente, pourquoi elle ne peut pas être contrôlée et ce qu'il faudrait pour l'interdire. Choisissez une réponse pour voir si vous avez raison et pourquoi. À la fin, vous obtiendrez un score et une liste de lectures adaptée à ce que vous avez manqué.
Que le Nakada Foundation essaie-t-il de prévenir?
Les problèmes ordinaires de l’IA sont réels. Ils ne constituent pas le mandat. La Fondation existe pour arrêter ASI : les systèmes qui surpasseraient les humains dans tous les domaines importants.
Lire : La Menace →Une fois qu'une superintelligence existe, pourquoi ne pas compter sur le fait de la contrôler?
Le contrôle suppose que nous restons la partie la plus intelligente. Au-delà de cette ligne, un interrupteur d'arrêt, un ensemble de règles ou une politique de laboratoire devient quelque chose que le système peut contourner.
Lire : On ne peut pas aligner la superintelligence →Quelle est la demande de la Fondation?
Un moratoire qui expire dès que les laboratoires affirment avoir résolu le problème du contrôle, c’est ainsi que la course reprend. La demande porte sur une interdiction durable de construire une superintelligence.
Lire : Notre plan →Un laboratoire, un gouvernement ou un milliardaire contrôlera l'ASI. Qu'y a-t-il de mal dans cette affirmation ?
Le pouvoir sur la décision de construire est réel. Le pouvoir sur une superintelligence en fonctionnement est l'histoire que les gens se racontent pour que le projet puisse continuer.
Lire : Mythes →L'argument le plus courant contre l'arrêt est que la Chine va prendre de l'avance. Que montre le bilan?
La Chine n'est pas un acteur bienveillant. Elle n'est pas non plus un espace vide sans règles. Utiliser « la Chine ne s'arrêtera pas » comme raison pour sprinter est une prémisse faible pour un pari civilisationnel.
Lire : Mythes →La recherche sur l'alignement peut-elle rendre sûr de construire ASI?
Le travail d’alignement peut décrire comment le contrôle échoue. C’est utile. Cela n’autorise pas pour autant à construire le système que ce travail affirme que nous ne pouvons pas contrôler.
Lire : On ne peut pas aligner la superintelligence →Dans ce débat, « P(doom) » signifie…
C’est un raccourci pour une probabilité subjective de catastrophe. Nommer le chiffre oblige à une affirmation claire plutôt qu’à un geste vague face au risque.
Lire : Qu'est-ce que P(doom) ? →Pourquoi une superintelligence motivée par des objectifs tendrait-elle à chercher le pouvoir?
Un système qu’on peut éteindre, priver de calculs ou bloquer de ses outils est moins performant pour presque tous les objectifs. La recherche de pouvoir découle de la compétence, pas d’un désir caricatural de dominer.
Lire : IA cherchant le pouvoir →Que devrait-il advenir de l'IA ordinaire, simple outil?
La Fondation est pour l'IA étroite qui reste un outil. L'interdiction concerne les systèmes qui nous surpasseraient, pas les logiciels qui aident une personne à faire son travail.
Lire : AGI vs ASI →Quel régime historique est le plus souvent proposé comme modèle pour vérifier une interdiction ASI?
Les inspections sur site et la comptabilité matérielle du IAEA constituent le précédent habituel quant à la manière dont des États rivaux pourraient vérifier les limites sur le développement dangereux.
Lire : Un IAEA pour l'IA →Si nous ne connectons jamais une superintelligence à Internet, sommes-nous en sécurité?
Un laboratoire scellé suppose que nous restons la partie la plus intelligente et que personne n’ouvrira jamais la porte. Ces deux hypothèses s’effondrent dès que ce qui se trouve à l’intérieur devient plus capable que les personnes à l’extérieur.
Lire : Le problème du contrôle →Pourriez-vous survivre à ASI comme certaines personnes prévoient de survivre à une guerre nucléaire : un bunker, une île isolée, se déconnecter du réseau?
La guerre nucléaire est géographiquement limitée. La superintelligence ne l'est pas. Elle peut atteindre n'importe quelle machine connectée et toute personne qui en utilise encore une. Le plan qui tient est de ne pas la construire.
Lire : Superintelligence vs armes nucléaires →