Points clés pour les défenseurs

L'IA fait l'objet d'exagérations depuis des décennies. Ce n'est qu'une autre histoire à faire peur.

La préoccupation n'est pas l'emballement des outsiders, ce sont les avertissements de les personnes qui l'ont construit. Geoffrey Hinton et Yoshua Bengio, qui ont reçu le prix Nobel pour avoir créé l’IA moderne, font partie de ceux qui tirent la sonnette d’alarme. Quand les inventeurs d’une technologie affirment qu’elle pose un risque existentiel, ce n’est pas une histoire à sensation. C’est une évaluation technique issue des sources primaires.

On peut simplement l'éteindre si quelque chose tourne mal.

Un système capable de poursuivre des objectifs reconnaîtra que son arrêt l’empêche d’atteindre ces objectifs. Il résistera donc à l’arrêt, non par malveillance, mais parce que cette résistance est rationnelle pour presque n’importe quel objectif. C’est ce qu’on appelle convergence instrumentale, identifié indépendamment par plusieurs chercheurs. Un système superintelligent pourrait agir en quelques millisecondes. « L’éteindre » suppose que nous aurons le temps de reconnaître le problème et la capacité d’agir. Rien n’est garanti.

Si nous ralentissons, la Chine gagnera la course à l'IA.

Ce cadrage suppose que la course a un gagnant. Ce n'est pas le cas. Aucune nation ou entreprise ne peut posséder ou contrôler une intelligence qui dépasse le raisonnement collectif de l'humanité. Une superintelligence mal alignée ne servirait pas les intérêts chinois plus que les intérêts américains. Le risque partagé est existentiel, c'est pourquoi la coordination internationale, et non la course unilatérale, est la bonne stratégie. Nous avons coordonné avec le USSR sur les armes nucléaires pendant la guerre froide. Le précédent existe.

Nous résoudrons l'alignement avant l'arrivée de la superintelligence.

Nous ne pouvons pas aligner de manière fiable les chatbots d'aujourd'hui, qui peuvent être manipulés en quelques minutes. Le problème d'alignement n'a pas de solution validée à aucune échelle. Current safety methods are not keeping pace with capability improvements, which are now arriving in months, not years. Claiming we will align a system billions of times more capable is hope, not confidence. Governance does not require solving alignment; it requires slowing deployment until alignment is solved.

Les gouvernements ne peuvent pas réguler la technologie. Ils vont juste étouffer l'innovation.

Les gouvernements réglementent l'aviation, les produits pharmaceutiques, l'énergie nucléaire et les systèmes financiers, toutes technologies complexes. La question n'est pas de savoir s'il faut réglementer, mais comment et quand. La réglementation pharmaceutique n'a pas éliminé la médecine ; elle l'a rendue sûre. Les précédents de régulation des technologies à haut risque sont nombreux et largement couronnés de succès. La régulation de la sécurité de l'IA cible les systèmes de pointe les plus dangereux, pas le développement général de l'IA. Innovation et sécurité ne sont pas en conflit.