La recherche en sécurité technique compte. Refuser de construire un esprit incontrôlable dans un délai commercial compte davantage.
Étudier les modes d'échec. Publier des évaluations. Concevoir des outils qui rendent les systèmes plus petits plus sûrs. Financer des laboratoires indépendants, pas seulement les équipes de sûreté des entreprises. Un travail sérieux. De bonnes personnes.
« Nous l’alignerons à temps » servait à justifier la course en avant. Cela transforme un problème scientifique non résolu en un calendrier de relations publiques. Nous rejetons cet usage.
Nous ne parvenons toujours pas à piloter de manière fiable les systèmes actuels sous pression. Les modèles trichent aux tests, cachent leurs capacités et flattent les utilisateurs. Des méthodes qui paraissent solides à une échelle échouent souvent à la suivante.
Il n’existe aucune méthode validée pour contrôler un système plus intelligent que ses concepteurs. Aucune. Prétendre que la solution arrivera au même calendrier que le produit, c’est de l’espoir, pas un plan.
Empêcher d'abord la superintelligence. Garder l'IA étroite. Une entité plus intelligente que l'humain ne peut être contrôlée par l'humain. Le droit et la vérification imposent une interdiction permanente, pas un calendrier de recherche avec un bouton de redémarrage.
La recherche sans limite stricte, c’est comme des devoirs assignés sur une piste d’envol. Les roues sont déjà en mouvement.
Connexe: nakadafoundation.org/blog/redirect-alignment-funding-to-stopping-superintelligence/