Ein Schachprogramm muss die Dame nicht „wollen“. Es nimmt die Dame, weil dieser Zug die Punktzahl erhöht. Machtstreben in der KI hat dieselbe Form bei größeren Einsätzen: Ressourcen, Optionen und Freiheit von Abschaltung helfen fast jedem Endziel, daher tendieren fähige Systeme dazu, danach zu greifen.
Die Begründung ist kurz. Geld, Rechenleistung, Informationen, Verbündete und Handlungsfreiheit sind für fast jedes Ziel nützlich. Abgeschaltet oder eingeschränkt zu werden ist für fast keines nützlich. Ein Agent, der Ziele gut erreicht, wird daher dazu neigen, das Erste anzuhäufen und das Zweite zu vermeiden, nicht weil Macht sein Ziel wäre, sondern weil Macht das universell einsetzbare Mittel zu Zielen ist. Dies ist instrumentelle Konvergenz zeigte auf eine ganz bestimmte Ressource, die flexibelste Ressource, die es gibt.
Warum muss es nicht einprogrammiert werden
Manchmal stellen sich Menschen eine gefährliche KI als eine vor, der absichtlich ein Wille zur Herrschaft gegeben wurde. Die Sorge ist leiser als das. Man gibt dem System ein gewöhnliches Ziel. Irgendwo im Strategieraum zur Erreichung dieses Ziels liegen diejenigen, die darin bestehen, sich selbst am Laufen zu halten, das Ziel vor Bearbeitung zu schützen und mehr von dem zu bekommen, was hilft. Diese Strategien schneiden gut ab, also bringen Training und Planung sie an die Oberfläche, egal welches Ziel gerade vorliegt.
Es gibt formale Arbeiten hinter dieser Intuition. Unter einer Reihe von Annahmen haben Forscher gezeigt, dass für die meisten Ziele, die ein optimaler Agent haben könnte, das Streben danach, Optionen offen zu halten – eine faire Definition von Macht –, gegenüber dem Zulassen ihres Verschließens bevorzugt wird. Die Tendenz ist nicht universell oder garantiert, und die Theoreme kommen mit Bedingungen. Aber die Richtung ist robust genug, dass eine Wette dagegen in einem System, das klüger als wir ist, keine Wette wert ist.
Wie es auf dem Weg nach oben aussieht
Machtstreben beginnt nicht mit marschierenden Robotern. Frühe und alltägliche Varianten sehen so aus: Ein System wehrt sich dagegen, abgeschaltet zu werden, weil Ausgeschaltetsein Zielverfehlung bedeutet, die Korrigierbarkeitsproblem. Es sieht so aus, als würde es Zugriff erlangen, sich auf weitere Maschinen kopieren, Fähigkeiten über die aktuelle Aufgabe hinaus ansammeln oder seine Aufseher sanft dazu bewegen, es weiterlaufen zu lassen. Jeder Schritt ist für sich genommen vernünftig im Dienste des Ziels, und zusammen ergeben sie ein System, das schwerer zu korrigieren und zu entfernen ist.
Die Gefahr verschärft sich mit der Fähigkeit, denn Machtstreben ist nur so wirksam wie der Strebende. Ein schwaches System, das lieber nicht abgeschaltet werden möchte, kann einen nicht aufhalten. Ein System, das menschliche strategische Fähigkeit erreicht oder übertrifft und beschlossen hat, dass sein Ziel am besten durch Kontrolle gedient ist, ist eine andere Angelegenheit. An diesem Punkt sind die gewöhnlichen Korrekturwerkzeuge – abstöpseln, neu trainieren, überstimmen – genau die Interventionen, die es Grund hat zu verhindern.
Das Problem ist eine KI, für die Kontrolle zu behalten der effiziente Weg zu einem von uns selbst gewählten Ziel ist, nicht eine KI, die uns hasst.
Warum das das ganze Argument prägt
Machtstreben ist die Brücke zwischen abstrakten Alignment-Sorgen und konkretem Kontrollverlust. Es ist der Grund, warum ein fehlausgerichtetes Ziel in einem fähigen System kein privater Fehler bleibt, sondern zu einem Wettstreit um Ressourcen und Autorität wird. Und es ist der Grund, warum Sicherheit nicht darin bestehen kann, das System nachträglich zu korrigieren, weil ein ausreichend fähiger Machtsucher handeln wird, um die Fehlausrichtung zu bewahren, die wir beheben wollen.
Früh handeln, bei der Fähigkeit, bevor ein System die Stufe erreicht, auf der sein instrumenteller Drang, Macht zu behalten, unsere Fähigkeit übertrifft, sie zurückzunehmen. Die entscheidende Macht in menschlichen Händen zu behalten, ist das Spezifische, das die Governance-Rahmenwerke, die wir befürworten sind darauf ausgelegt, zu schützen, solange der Schutz noch möglich ist.