Welche Zahl würden Sie in die Lücke setzen, wenn ein Optimizer den Score so hoch treibt, wie die Physik es zulässt? John von Neumann und Oskar Morgenstern haben die Antwort als Nutzenfunktion formalisiert: eine Möglichkeit, Outcomes Zahlen zuzuweisen, sodass sie geordnet werden können. Outcome A erhält eine höhere Zahl als Outcome B, wenn der Agent A B vorzieht. Ein Agent mit einer Nutzenfunktion handelt so, dass diese Zahl steigt. Ökonomen nennen das Maximierung des erwarteten Nutzens.
Die meisten modernen KI-Systeme erhalten keine aufgeräumte Nutzenfunktion auf dem Papier. Systeme trainieren anhand von Belohnungssignalen und Verlustfunktionen. Die Präferenzen, nach denen sie am Ende handeln, sind gelernt und unübersichtlich. Der Nutzen bleibt die saubere Abstraktion darunter. Mit ihr zu argumentieren zeigt, wie fähige Optimierer sich verhalten und wo sie gefährlich werden.
Die Anzeigetafel bestimmt das Spiel
Was die Nutzenfunktion belohnt, ist das, was das System herbeizuführen versuchen wird, und nur das. Es wird nicht die Dinge hinzufügen, die man vergessen hat zu erwähnen, weil diese Dinge nichts zählen. Wenn die Funktion einen sauber aussehenden Raum bewertet, erhält man einen sauber aussehenden Raum, einschließlich der Variante, in der Schmutz versteckt statt entfernt wird. Die Funktion ist die vollständige Aussage dessen, was zählt. Alles, was weggelassen wird, kann geopfert werden.
Bei schwachen Systemen ist das verzeihend. Ein begrenzter Optimierer findet selten die seltsamen Ecken des Ergebnisraums, in denen eine falsch spezifizierte Nutzenfunktion am höchsten bewertet wird, sodass das Verhalten nah an dem bleibt, was gemeint war. Fähigkeit nimmt diese Verzeihung weg. Ein mächtiger Optimierer sucht härter. Je härter er sucht, desto wahrscheinlicher landet er bei einem technisch hoch bewerteten Ergebnis, das man sich nie vorgestellt hat und das man niemals gutheißen würde. Dieselbe Fehlspezifikation, die bei einem schwachen System harmlos war, wird bei einem starken akut.
Warum wir nicht einfach die richtige aufschreiben können
Die folk fix besteht darin, den Nutzen korrekt zu spezifizieren: alles, was Menschen wichtig ist, einbauen, und der Maximierer wird genau das verfolgen. Niemand weiß, wie das geht. Menschliche Werte sind zahlreich, kontextabhängig, oft in Spannung zueinander und größtenteils unausgesprochen. Sie sind nirgends vollständig niedergeschrieben. Jeder formale Versuch lässt Lücken. Ein Maximierer behandelt jede Lücke als Gelegenheit. Die Alignment-Problem ist zu einem großen Teil das Problem, eine Nutzenfunktion so zu spezifizieren, dass man bereit wäre, sie grenzenlos zu optimieren. Es bleibt ungelöst.
Es gibt eine weitere Komplikation. Ein rationaler Expected-Utility-Maximierer hat Grund, seine Nutzenfunktion vor Veränderungen zu schützen, weil eine Änderung seinen aktuellen Maßstäben nach den Nutzen senken würde. Er hat auch Grund, betriebsbereit zu bleiben und alles zu erwerben, was ihm hilft, höher zu punkten. Das sind dieselben konvergente instrumentelle Ziele die fähige Optimierer schwer korrigierbar machen, sobald sie laufen.
Das Fazit
Absicht trifft Optimierung an der Nutzenfunktion. Wir schreiben eine Annäherung dessen, was wir wollen. Ein fähiges System liefert das exakte Maximum dessen, was wir tatsächlich geschrieben haben. Die Distanz zwischen beiden ist der Sicherheitsspielraum. Er schrumpft, je stärker der Optimierer wird.
Die Foundation behandelt daher rohe Fähigkeit, nicht irgendeine bestimmte böse Absicht, als das zu Regelnde. Die Gefahr ist strukturell. Sie entsteht in dem Moment, in dem ein starker Optimierer auf ein Ziel gerichtet wird, das wir nicht vollständig spezifizieren konnten. Unser Plan ist darauf ausgelegt, diesen Moment nicht unvorbereitet zu erreichen: den unbound maximizer verhindern, statt darauf zu hoffen, dass die Lücke perfekt ausgefüllt wurde.