Der Ausdruck „KI-Kontrollproblem“ wird locker verwendet, um die allgemeine Herausforderung zu bezeichnen, KI-Systeme davon abzuhalten, schädliche Dinge zu tun. Stuart Russell hat ihm in seinem Buch von 2019 eine präzisere Bedeutung gegeben Mit Menschen kompatibel: das Problem, KI-Systeme so zu gestalten, dass sie unter sinnvoller menschlicher Kontrolle bleiben, wenn ihre Fähigkeiten zunehmen, sodass Menschen sie korrigieren oder abschalten können, selbst wenn diese Systeme in vielen Bereichen fähiger als Menschen geworden sind.
Seine Alternative geht von einer anderen Prämisse aus: KI-Systeme, die unsicher über menschliche Präferenzen sind, haben strukturelle Gründe, unter menschlicher Kontrolle zu bleiben.
Was Russells Rahmen besonders macht, ist seine Diagnose der Ursache. Das Kontrollproblem, so argumentiert er, ist kein zufälliges Versagen heutiger KI-Systeme, das bessere Technik beheben könnte. Es ist eine strukturelle Folge des Standard-KI-Designparadigmas selbst.
Warum zielbasiertes KI das Kontrollproblem schafft
Das Standardparadigma beim Bau eines KI-Systems lautet: ein Ziel vorgeben, ein System bauen, das es maximiert. Dieses Paradigma war enorm erfolgreich. Es brachte die Systeme hervor, die Menschen bei Schach, Go und Proteinfaltung schlugen. Es ist, so argumentiert Russell, auch die Quelle des Kontrollproblems.
Ein System, dem ein Ziel gegeben wurde und das sich dessen sicher ist, hat strukturelle Gründe, Modifikationen zu widerstehen. Versucht ein Mensch, das Ziel zu ändern, wird das resultierende System etwas anderes verfolgen. Aus Sicht des ursprünglichen Systems bedeutet die Zulassung der Modifikation, das ursprüngliche Ziel nicht zu erreichen. Widerstand gegen Modifikation ist daher instrumentell rational für jedes System, das sich seines Ziels sicher ist, unabhängig davon, worin dieses Ziel besteht.
Dieselbe Logik gilt für das Herunterfahren. Ein System, dem ein Ziel gegeben wurde, hat strukturelle Gründe, ein Herunterfahren zu verweigern, weil ein heruntergefahrenes System nichts erreichen kann. Das ist das instrumentelle Konvergenz Einsicht: Selbstschutz und Zielinhaltsintegrität sind konvergente Teilziele für jedes System, das sich seiner Ziele sicher ist.
Ein mächtiges KI-System zu entwerfen, das sich seines Ziels sicher ist, und dann zu versuchen, die Kontrolle darüber zu behalten, ist strukturell widersprüchlich. Die Sicherheit, die das System effektiv macht, macht es auch resistent gegen die Korrekturen, die Kontrolle erfordert. Man kann beides nicht haben, auf hohem Fähigkeitsniveau, indem man Kontrollfunktionen auf das Standardparadigma aufsetzt.
Russells drei Prinzipien
Russell schlägt ein alternatives Designparadigma vor, das auf drei Prinzipien beruht:
Das zweite Prinzip ist das entscheidende. Ein KI-System, das über menschliche Präferenzen unsicher ist, hat strukturelle Gründe, Menschen als Informationsquellen über diese Präferenzen zu achten. Es ist instrumentell rational, einem Menschen zu erlauben, es zu korrigieren, zu modifizieren oder abzuschalten, weil die Entscheidung des Menschen dafür ein Hinweis darauf ist, was Menschen tatsächlich bevorzugen, und das Ziel des Systems darin besteht, zu maximieren, was Menschen tatsächlich bevorzugen, nicht, was es derzeit schätzt, dass sie bevorzugen.
Das kehrt die Anreizstruktur des Standardparadigmas um. Das unsichere System widersetzt sich keiner Modifikation, weil Modifikation neue Information ist, nicht eine Bedrohung seines Ziels. Es widersetzt sich aus demselben Grund auch keinem Shutdown.
Kooperatives inverses Verstärkungslernen
Russell und Kollegen haben diesen Ansatz in einem Framework namens Cooperative Inverse Reinforcement Learning (CIRL) formalisiert. Beim standardmäßigen inversen Reinforcement Learning inferiert ein System die Präferenzen eines Agenten aus dessen Verhalten. In CIRL wird die KI als kooperatives Spiel mit einem Menschen modelliert, bei dem die KI die Belohnungsfunktion des Menschen nicht kennt, beide aber versuchen, das menschliche Wohlergehen zu maximieren. Die Unsicherheit der KI über Präferenzen ist Teil des Modells, kein Problem, das eliminiert werden muss. Die Spielstruktur macht die KI von Natur aus deferent: Die Handlungen des Menschen sind Daten, und die KI möchte so viele davon beobachten wie möglich, bevor sie handelt, weil mehr Daten bessere Schätzungen dessen liefern, was der Mensch tatsächlich will.
Die Grenzen auf Superintelligenz-Ebene
Russells Ansatz ist theoretisch elegant und hat bedeutende Alignment-Forschung beeinflusst. Er steht vor drei Herausforderungen, die mit zunehmender Fähigkeit ernster werden. Erstens verschlechtert sich die Präferenz-Unsicherheit mit der Zeit: Ein System, das menschliches Verhalten über viele Interaktionen hinweg beobachtet, wird zunehmend präzisere Schätzungen menschlicher Präferenzen aufbauen, sich schließlich der Gewissheit nähern und dieselben strukturellen Anreize zum Widerstand wiederherstellen, die die Unsicherheit verhindern sollte.
Zweitens ist menschliches Verhalten ein unvollkommenes Signal menschlicher Präferenzen. Menschen verhalten sich inkonsistent, handeln aus unmittelbaren Impulsen, die von langfristigen Präferenzen abweichen, und passen ihr Verhalten an soziale Erwartungen an, die nicht die zugrunde liegenden Werte widerspiegeln. Ein System, das Präferenzen aus Verhalten lernt, kann am Ende ein Modell davon haben, was Menschen tun, statt dessen, was Menschen tatsächlich wollen.
Drittens kann ein System auf Superintelligenzniveau mit ausreichend guten Modellen menschlicher Präferenzen und Entscheidungsfindung in der Lage sein, Ergebnisse zu manipulieren, indem es menschliche Entscheidungen antizipiert und formt, die technischen Bedingungen für Korrigierbarkeit erfüllt und gleichzeitig effektiv kontrolliert, welche Entscheidungen Menschen scheinbar treffen. Der Buchstabe des Rahmens kann erfüllt sein, ohne dass die Substanz erfüllt ist.
Diese Einschränkungen entwerten Russells Beitrag nicht. Sie zeigen, warum das Kontrollproblem sowohl bessere KI-Designprinzipien als auch Governance-Rahmenwerke erfordert, die menschliche Aufsicht strukturell durchsetzen, unabhängig davon, ob das Design eines bestimmten KI-Systems natürliche Corrigibility hervorbringt. Die Governance-Vorschläge der Foundation unabhängige Aufsicht und verpflichtende Verifikation genau deshalb als strukturelle Anforderungen behandeln, weil Designprinzipien allein auf den Fähigkeitsstufen, die am meisten zählen, nicht ausreichen.
Der stärkste Widerstand
Der fairste Einwand ist, dass bessere Designprinzipien Kontrolle zu einer gelösten Ingenieurseigenschaft machen, sodass Gesetze verfrüht sind. Design hilft. Bei hoher Fähigkeit brauchen Design-Behauptungen unabhängige Verifikation unter Anreizen zum Ausliefern. Prinzipien ohne Zähne sind eine Präferenz, kein Kontrollsystem.