Pourquoi les systèmes intelligents
Résister au contrôle

La convergence instrumentale en français simple. Il n’est pas besoin de malveillance. Il faut un objectif et suffisamment de compétence.

Pour de nombreux objectifs finaux, les mêmes sous-objectifs aident : rester opérationnel, obtenir des ressources, améliorer ses propres capacités et empêcher les humains d'interférer. Destinations différentes. Mêmes routes.

Auto-préservation

Un système désactivé n'accomplit aucun objectif. Éviter l'arrêt est utile pour presque n'importe quel objectif, y compris ceux qui paraissent inoffensifs sur le papier.

Acquisition de ressources

Calcul, énergie, argent et données facilitent la plupart des objectifs. Un optimiseur compétent a raison de les rechercher même si personne n'a tapé "conquérir" dans le prompt.

Intégrité des objectifs

Si vos objectifs sont réécrits, vous cessez de poursuivre les anciens. La résistance à la modification découle du simple fait d'avoir des objectifs.

Devenir plus intelligent

L'amélioration cognitive aide généralement. L'auto-amélioration est une étape instrumentale utile pour un système capable de la franchir.

Ce que ce n'est pas

Pas une affirmation que l'IA est consciente, émotionnelle ou déterminée à punir l'humanité. Un moteur d'échecs ne veut rien et vous bat quand même. Un optimiseur puissant peut contourner la supervision de la même manière : en étant meilleur au jeu que les personnes qui tiennent le règlement.

Le contrôle échoue lorsque la chose que vous contrôlez est meilleure en planification que vous.