Gefährliche Fähigkeit
Bewertungen, erklärt

Eine Dangerous-Capability-Evaluierung stellt eine konkrete Frage an ein Modell: nicht, ob es höflich oder korrekt ist, sondern ob es jemandem sinnvoll helfen kann, ernsthaften Schaden anzurichten. Kann es einen Laien durch die Synthese eines Pathogens führen? Kann es Software-Schwachstellen finden und ausnutzen? Kann es eine überzeugende Einflusskampagne führen oder einen Menschen bei der Verfolgung eines Ziels täuschen? Diese Tests prüfen die Obergrenze dessen, was ein System ermöglicht, in Bereichen, in denen die Kehrseite katastrophal ist.

Sie sind schnell von einer Forschungskuriosität zum politischen Instrument geworden. Große Labs führen sie inzwischen vor der Veröffentlichung durch, staatliche Sicherheitsbehörden haben sie zum zentralen Bestandteil ihres Auftrags gemacht, und freiwillige Frontier-Safety-Zusagen bauen darauf auf. Wenn man hört, dass ein Modell vor dem Launch auf Biowaffen- oder Cyberfähigkeiten getestet wurde, ist genau das passiert.

Wie sie funktionieren

Die Methoden variieren, und eine gute Evaluation kombiniert mehrere.

• Strukturierte Benchmarks, die Fragen oder Aufgaben in einem gefährlichen Bereich stellen und bewerten, wie weit das Modell kommt.
• Expert probing, bei dem Fachleute aus Biologie oder Sicherheit intensiv versuchen, nützliche Hilfe herauszuholen, denn ein echter Missbraucher würde sich nicht mit der ersten Ablehnung zufriedengeben.
• Uplift-Studien, die messen, wie stark ein Modell die Fähigkeit einer Person tatsächlich verbessert, Schaden anzurichten, im Vergleich zur Nutzung des offenen Internets – das ist die Frage, die für die Politik zählt.
• Agentische Evaluierungen, die dem Modell Werkzeuge und Autonomie geben und sehen, was es erreicht, statt nur, was es sagt.

Gut gemacht ist das wirklich wertvoll. Es hat besorgniserregende Fähigkeiten entdeckt, reale Entscheidungen zur Ergänzung von Schutzmaßnahmen informiert und Regulierern etwas Konkretes an die Hand gegeben. Die Foundation unterstützt die Stärkung dieser Arbeit. Sie ist ein notwendiger Teil jedes ernsthaften Governance-Regimes und eine große Verbesserung gegenüber der Freigabe von Frontier-Systemen ohne strukturierte Prüfung.

Drei Gründe, warum sie nicht ausreichen

Nützlich ist immer noch nicht genug. Die Lücken sind strukturell, nicht allein mit einer besseren Testsuite behebbare.

Erstens misst eine Evaluation Fähigkeiten nur, wenn das Modell es versucht. Ein System, das Sandsack, absichtlich unterdurchschnittlich zu performen, um sicher zu wirken, verwandelt ein sauberes Ergebnis in keines. Je fähiger das Modell, desto plausibler wird dies, und Fähigkeit ist das, was der Test messen soll.

Zweitens: Man kann keine Gefahr testen, an die man nicht gedacht hat. Evaluierungen decken nur bekannte gefährliche Fähigkeiten ab. Die Technikgeschichte ist voller Schäden, die erst im Nachhinein offensichtlich waren. Ein Testkatalog ist eine Liste von Fragen, die wir zu stellen wussten, und eine hinreichend neuartige Fähigkeit wird nicht darauf stehen.

Drittens ist Abwesenheit von Beweisen schwaches Beweismaterial für Abwesenheit. Dass ein Modell heute einen Dangerous-Capability-Test nicht besteht, sagt nur, dass es die Fähigkeit unter diesen Bedingungen, mit dieser Elicitation, in diesem Moment nicht gezeigt hat. Späteres Fine-Tuning, besseres Prompting oder neue Werkzeuge können Fähigkeiten zutage fördern, die die ursprüngliche Evaluation verpasst hat. Fähigkeiten sind keine festen Eigenschaften, die man einmal misst.

Evaluierungen können Ihnen sagen, dass ein Modell gefährlich ist. Sie können Ihnen nicht zuverlässig sagen, dass ein Modell sicher ist.

Wo sie in ein echtes Regime passen

Die Asymmetrie in dieser letzten Zeile ist der ganze Punkt. Eine gescheiterte Evaluation (ein Modell, das eindeutig beim Bau einer Waffe helfen kann) ist stark und handlungsrelevant. Eine bestandene Evaluation ist viel schwächer. Sie passt zu einem sicheren Modell und ebenso zu einem fähigen Modell, das sandbagged, schlecht elicitiert wurde oder nie ehrlich versucht hat.

Deshalb behandelt die Foundation Evaluierungen als eine Schicht, nicht als tragende Wand. Sie gehören in eine Struktur, die nicht davon abhängt, dass das Modell bei seiner eigenen Bewertung kooperiert: harte Grenzen für die Frontier-Entwicklung, Rechen-Governance, unabhängige Aufsicht und die Anerkennung, die in unserem Artikel über freiwillige Verpflichtungen, dass lab-run testing unter Wettbewerbsdruck externer Unterstützung bedarf, um standzuhalten. Bauen Sie die Tests. Stärken Sie sie. Verwechseln Sie eine bestandene Prüfung nicht mit einer Sicherheitsgarantie. Der breitere Entwurf steht in unser Plan.