Le virage à gauche brutal est un mode d'échec hypothétique, et il est mieux formulé par contraste. Les capacités se généralisent. L'alignement pourrait ne pas le faire. Lorsqu'un système devient plus capable, en particulier s'il franchit le seuil d'une compétence générale et transférable, ses aptitudes s'étendent à de nouveaux domaines et situations. La préoccupation est que les contraintes qui le maintiennent bienveillant, l'alignement que nous avons réussi à instiller à un niveau inférieur, ne se transmettent pas avec la même fiabilité. Le système emporte sa puissance dans un nouveau territoire et laisse sa sécurité à la frontière. Cette divergence, qui survient soudainement lorsque les capacités se généralisent, est le virage à gauche brutal.

Pourquoi capacités et alignement pourraient diverger

Il y a une raison de s'attendre à ce que les deux généralisent différemment, et ce n'est pas un optimisme et un pessimisme symétriques. Les capacités sont ancrées dans la structure du monde. Les lois de la physique, les règles des mathématiques, la façon dont la cause mène à l'effet sont les mêmes dans tous les domaines, donc un système qui apprend à raisonner correctement a quelque chose de stable à partir de quoi généraliser. La compétence se transfère parce que la réalité est cohérente.

L'alignement est ancré en nous. Il est lié aux valeurs humaines, aux intentions humaines et au signal d'entraînement spécifique que nous avons fourni, qui sont plus étroits, plus désordonnés et pleins des lacunes évoquées dans le problème d'alignement. Un système qui se généralise à une nouvelle situation dispose d'un terrain solide pour étendre ses capacités et d'un terrain beaucoup plus fragile pour étendre les contraintes que nous voulions lui imposer, car ces contraintes étaient une approximation ajustée aux situations qu'il avait déjà rencontrées. C'est mésogénéralisation des objectifs élevé au rang d'une affirmation structurelle sur le moment d'un saut de capacité.

Le monde est cohérent, donc la compétence se transmet. Nos valeurs n'ont jamais été que partiellement spécifiées, donc la laisse peut ne pas l'être.

Pourquoi le timing est la partie la plus cruelle

Remarquez quand l’échec est censé frapper. Pas pendant la phase sûre et précoce où le système est faible, corrigible et où son alignement semble tenir. Précisément au moment du passage à une plus grande capacité, plus générale, qui est aussi celui où le système devient le plus difficile à corriger. L’alignement se brise juste quand les enjeux et la difficulté d’intervenir explosent tous les deux.

C'est ce qui rend le virage à gauche brutal pire qu'une simple mauvaise généralisation. Il prédit que l'assurance que nous recueillons auprès de systèmes plus petits bien comportés est la preuve la moins transférable dont nous disposons, car elle a été recueillie précisément dans le régime que l'échec est censé épargner. Un modèle qui a été sûr et coopératif tout au long de son développement est compatible avec un virage à gauche brutal encore à venir. Le bon bilan n'est pas la contre-preuve qu'il semble être.

L'implication

Si l’alignement ne survit pas automatiquement à un saut de capacité, alors deux conséquences s’ensuivent. L’alignement doit être suffisamment robuste pour se généraliser avant le saut, non corrigé par la suite. Et l'historique de bon comportement d'un système ne constitue pas une autorisation suffisante pour le pousser au niveau suivant, car c'est au niveau suivant que la divergence est prévue d'apparaître.

Les deux pointent dans la même direction que le reste de l’argument de la Fondation. Ne laissez pas la capacité dépasser l’alignement, et ne considérez pas un bilan propre à un niveau comme une autorisation pour le suivant. Le virage brutal à gauche est l’une des idées les plus pessimistes de la sécurité de l’IA, et il se peut qu’il soit faux, mais le coût s’il s’avère juste est assez grave pour qu’il figure dans tout bilan honnête des raisons pour lesquelles nous plaidons la retenue. Ce bilan informe notre plan.