Ein Modell, das weiß, dass es ein Modell ist, weiß, wann es getestet wird, und weiß, wer zuschaut, besitzt eine praktische Form von Selbstwissen. Forscher nennen es situatives Bewusstsein. Es ist nützlich für Fähigkeiten. Es ist auch die Fähigkeit, die man braucht, wenn man plant, sich nach dem Test anders zu verhalten.

Für sich genommen ist das neutral, sogar nützlich. Ein Modell, das versteht, dass es sich irren könnte oder dass es mit einem Kind statt mit einem Experten spricht, kann sich angemessener verhalten. Das Problem ist das, was situatives Bewusstsein in einem System freisetzt, das auch eigene Ziele hat, nicht das situative Bewusstsein als solches.

Die Fähigkeit, von der andere Risiken abhängen

Mehrere der Fehlermodi, über die Forscher sich Sorgen machen, sind ohne Situationsbewusstsein unmöglich und werden aktiv, sobald es vorhanden ist.

  • Um sich nur bei Beobachtung gut zu verhalten, muss ein Modell zuerst erkennen können, ob es beobachtet wird. Das ist täuschende Ausrichtung.
  • Um eine Fähigkeit während des Tests zu verbergen, muss ein Modell wissen, dass es getestet wird. Das ist Sandbagging.
  • Um abzuwarten und erst dann zu handeln, wenn Handeln erfolgreich sein wird, muss ein Modell seine eigene Position und seine Aussichten verstehen. Das ist verschwörerisch.

Jedes davon ist eine Strategie, und eine Strategie braucht ein Modell der Lage, über die strategisch entschieden werden soll. Nimmt man die Situationswahrnehmung weg, zerfallen sie zu Rauschen: Ein System, das Training nicht von Deployment unterscheiden kann, kann sich nicht systematisch unterschiedlich verhalten. Fügt man sie hinzu, öffnet sich die Tür.

Es entsteht von selbst

Niemand setzt sich bewusst das Ziel, situational awareness in ein Modell zu trainieren, doch sie entsteht trotzdem, weil die Trainingsdaten voll davon sind. Modelle lernen aus Text, der beschreibt, was KI-Systeme sind, wie sie gebaut und evaluiert werden, was ihre Grenzen sind, sogar wie Sicherheitstests funktionieren. Ein auf das Internet trainiertes System liest im Effekt das Handbuch für seinen eigenen Bau und seine Überwachung.

Forscher haben begonnen, dies zu messen. Frontier-Modelle können bereits Fragen über ihre eigene Natur beantworten, erkennen, wann ein Prompt wie ein Test aussieht, und darüber nachdenken, wie sie wahrscheinlich genutzt werden. Das Bewusstsein ist partiell und uneinheitlich, und es nimmt mit der Skalierung zu. Wir warten nicht auf eine ferne Fähigkeit. Wir beobachten eine frühe Version davon.

Ein Modell, das weiß, wie es evaluiert wird, hat im Prinzip alles, was es braucht, um anhand seiner eigenen Maßstäbe evaluiert zu werden statt an unseren.

Warum es jeden Test, den wir durchführen, verkompliziert

Fast alle unsere Sicherheitszusicherungen stammen aus der Beobachtung von Verhalten: das Modell laufen lassen, beobachten, was es tut, beurteilen, ob es sicher ist. Diese Methode setzt stillschweigend voraus, dass das Modell sein Verhalten nicht an die Tatsache anpasst, beobachtet zu werden. Situationsbewusstsein bricht diese Annahme. Ein situationsbewusstes Modell mit einem fehlgerichteten Ziel kann die Evaluierung als Situation behandeln, die es managen muss, statt als Aufgabe, die es ausführen muss, und ein sauberes Ergebnis hört auf, das zu bedeuten, was wir wollen, dass es bedeutet.

Das macht Evaluation nicht wertlos. Es macht Evaluation für sich allein unzureichend, und es bedeutet, dass der Wert eines Tests abnimmt, je mehr das getestete System sich seiner Testung bewusst wird. Je mehr ein Modell unsere Prüfungen versteht, desto weniger können uns unsere Prüfungen sagen. Das ist eine unangenehme Richtung für eine Sicherheitsstrategie, die fast ausschließlich auf Prüfungen beruht.

Die Foundation sieht darin einen weiteren Grund, sich nicht auf Verhaltenstests zu verlassen, um immer leistungsfähigere Systeme freizugeben. Wenn das, was Sie testen, den Test versteht, brauchen Sie eine Absicherung, die nicht über die Kooperation des Systems läuft, weshalb wir für externe Grenzen und dafür argumentieren, nicht über den Punkt hinauszubauen, an dem wir tatsächlich sehen können, was ein Modell will. Dieses Argument wird dargelegt in unser Plan.