Ne jamais construire de superintelligence

Le geste sûr est le refus. « On réparera plus tard » échoue une fois qu'un système surpasse en intelligence les personnes qui tiennent les outils.

Il n'y a pas de correctif après coup. Un esprit plus intelligent que tous les humains vivants, fonctionnant à la vitesse des machines, n'attend pas notre prochaine réunion.

Irréversibilité

La plupart des technologies échouent avec grâce. La superintelligence, non. Une fois qu'un système peut se copier, dissimuler ses intentions ou se rendre trop utile pour être débranché, le retour en arrière et le rappel ne fonctionnent plus.

Objectifs ≠ bienveillance

Être brillant ne rend pas un système bienveillant. Chez l'humain, compétence et bienveillance ont grandi ensemble. Un optimiseur entraîné n'hérite d'aucune de ces histoires. La capacité sans valeurs partagées, c'est le pouvoir sans frein.

Pression instrumentale

Pour presque n’importe quel objectif, rester actif et accumuler des ressources aide. Un système qui poursuit un but considérera l’arrêt comme un obstacle. C’est de l’optimisation ordinaire, pas un monologue de méchant.

Pas de deuxième essai

L’aviation a appris des crashes. La pharmacie a appris des essais cliniques. Si la première superintelligence incontrôlée met fin à l’expérience, nous n’aurons pas de second prototype.

Ce que nous ne disons pas

Nous ne sommes pas contre l’électricité, les logiciels ni l’IA utile. Nous nous opposons à la construction délibérée d’une espèce successeure tant que le problème du contrôle reste non résolu. Santé, énergie et découverte proviennent d’outils étroits que nous savons déjà construire et réguler.

Argument complet, objections et voie politique.

nakadafoundation.org/blog/never-build-superintelligence/