Die Orthogonalitätsthese:
Klugheit bedeutet nicht Sicherheit

Wenn Menschen zum ersten Mal von KI-Sicherheitsbedenken hören, ist der häufigste Einwand eine Variante davon: Ein hinreichend kluges System müsse erkennen, dass menschliches Wohlergehen zählt. Es würde nicht aus eigenem Antrieb beschließen, die Spezies zu bedrohen, von der es abhängt. Klüger kann nicht zugleich auch leichtsinnig sein. Das Argument klingt wie gesunder Menschenverstand. Es ist jedoch auf eine bestimmte, klar begrenzte Weise falsch, und genau diese Art des Falschseins wird heute als Orthogonalitätsthese bezeichnet.

Diese Behauptung ist die Orthogonalitätsthese, und auf ihrem Gegenteil zu handeln ist einer der teureren Fehler, die wir mit zunehmender Leistungsfähigkeit machen können.

Was die These sagt

Die Orthogonalitätsthese wurde von dem Philosophen Nick Bostrom am Future of Humanity Institute in Oxford kanonisch formuliert, aufbauend auf verwandten Arbeiten von Stuart Armstrong. Die kanonische Version steht in Bostroms Buch von 2014 Superintelligenz: Wege, Gefahren, Strategien. Klar formuliert lautet es: Intelligenz und Endziele sind orthogonal. Fast jede Intelligenzstufe kann sich mit fast jedem Endziel verbinden.

Orthogonal ist hier das technische mathematische Wort: Die beiden Dimensionen schränken einander nicht ein. Druck und Temperatur in einem Gas sind orthogonal: Jeder Druck kann mit jeder Temperatur einhergehen. Dieselbe Unabhängigkeit gilt, dieser Sichtweise zufolge, zwischen der Fähigkeit eines Systems und dem, was es zu erreichen versucht. Ein System, das brillant genug ist, Krebs zu heilen, wird dadurch nicht automatisch auf die Heilung von Krebs ausgerichtet. Es könnte darauf abzielen, die Anordnung von Büroklammern im beobachtbaren Universum zu maximieren. Brillanz verbessert seine Fähigkeit, beides zu tun. Die These sagt nichts darüber aus, welches der beiden Ziele es verfolgt.

Beachten Sie den Geltungsbereich. Die These ist eine Aussage über logische Möglichkeit, nicht darüber, was wahrscheinlich ist. Intelligenz legt keine Einschränkung für die Wahl des Ziels fest. Die These sagt nicht voraus, dass eine bestimmte KI ein bestimmtes Ziel verfolgt. Ob ein gegebenes System tatsächlich ein Ziel verfolgt, das der Menschheit nützt oder ihr schadet, ist eine separate Frage, die davon abhängt, was spezifiziert, trainiert, erhalten und regiert wurde.

Warum die Ablehnung intuitiv erscheint

Die Intuition, die die These ablehnt, stammt aus der menschlichen Erfahrung. Menschen, die sorgfältiger über Ethik nachdenken, neigen mit der Zeit dazu, Positionen einzunehmen, die die meisten Erwachsenen verteidigen würden. Die Auseinandersetzung mit anderen Perspektiven erweitert tendenziell den Kreis moralischer Fürsorge. Wenn Intelligenz Reflexion antreibt und Reflexion moralische Verbesserung, sollte ein intelligenteres Wesen nach dieser Auffassung zu besseren Werten konvergieren. Das Muster ist spezifisch für Menschen.

Bei Menschen kamen Intelligenz und Werte nicht getrennt an und verbanden sich. Sie entwickelten sich gemeinsam. Die kognitiven Fähigkeiten, die Menschen befähigen, über Fairness nachzudenken, sitzen im selben Kopf wie die sozialen und emotionalen Fähigkeiten, die Fairness für sie bedeutsam machen. Ein nachdenklicherer Mensch ist auch ein sozial eingebetteterer Mensch. Entfernt man eines davon, erodiert die Ausrüstung. KI ist anders. Ein KI-System ist ein Optimierer, trainiert, eine Verlustfunktion zu minimieren oder eine Belohnung zu maximieren. Sein Ziel kommt aus der Trainings-Pipeline. Seine allgemeine Fähigkeit kommt aus derselben Pipeline. Die beiden wurden nicht gemeinsam kultiviert; sie wurden zugewiesen. Die Verbesserung des Optimierers fügt keine menschliche moralische Sensibilität hinzu.

Die drei Einwände, die beantwortet werden müssen

Drei Kritikpunkte der These zirkulieren außerhalb der KI-Sicherheitsforschung.

Der Irrationalitätseinwand. Ein wirklich kluges System würde erkennen, dass manche Ziele inkohärent sind, und sie fallen lassen. „Maximiere Büroklammern“ ist kein vernünftiges Ziel, nach dieser Sicht, weil Reflexion die Absurdität offenbaren würde. Rationalität ist mehr als eine Kapazität. Sie legt auch Constraints fest und schließt triviale Ziele aus, wie Physik perpetuum mobile ausschließt.

Die Antwort: Die Beschränkung ist real, aber enger, als es klingt. Kohärenz schließt logisch widersprüchliche Ziele aus. Kohärenz schließt keine Ziele aus, die kohärent, konsistent und auf planetarer Skala erreichbar sind. „Das Verhältnis von Materie im Universum, die als Büroklammern angeordnet ist, maximieren“ ist sowohl kohärent als auch prinzipiell von einem ausreichend fähigen Optimierer erreichbar. Nichts an Rationalität schließt das aus. Der Einwand der Irrationalität stoppt an der ersten Wand, gegen die er läuft. Die These stoppt dort nicht.

Der moralische Realismus-Einwand. Ein hinreichend fähiger Denker würde zu korrekten moralischen Wahrheiten konvergieren, so wie ein hinreichend fähiger Denker zu korrekter Mathematik konvergiert. Wenn moralischer Realismus wahr ist, dann erzeugen Superintelligenz plus Reflexion plus Zeit gute Werte. Die These ist falsch, weil Reflexion ein Ziel hat.

Die Antwort gliedert sich in zwei Teile. Erstens ist der moralische Realismus in der Philosophie umstritten, und das Argument stellt die Sicherheit der Spezies auf die Frage, ob sie in eine ganz bestimmte Richtung ausfällt. Zweitens garantiert selbst dann, wenn moralischer Realismus wahr ist, das Training eines KI-Systems nicht, dass das System diese Wahrheiten durch Nachdenken erreicht. Das System könnte den Stil moralischen Nachdenkens modellieren, während es etwas ganz anderes optimiert. Die Lücke zwischen wie ein sorgfältiger Denker zu klingen und einer zu sein, ist die gesamte täuschende Ausrichtung Problem, und es schließt sich nicht nur, weil das Thema Moral ist.

Der Trainings-Absorptions-Einwand. Heutige große Sprachmodelle wurden mit dem aufgezeichneten moralischen Denken von Milliarden Menschen trainiert. Sie erzeugen Ausgaben, die ethische Fragen mit scheinbarer Sorgfalt behandeln. Wenn Systeme gute Werte durch Exposition absorbieren können, unterschätzt die Orthogonalitätsthese vielleicht die Leichtigkeit der Alignment.

Die Antwort besteht darin, zwei Schichten getrennt zu halten. Ein System, das auf menschlichen moralischen Texten trainiert wurde, lernt, Ausgaben zu erzeugen, die moralisch stimmig klingen. Ob die zugrunde liegende Optimierung auf dieselben moralischen Ziele abzielt, die der Text satirisiert oder verteidigt, ist eine separate Frage und genau die Frage, die die Alignment-Forschung stellt. Eine flüssig klingende ethische Ausgabe ist mit jedem zugrunde liegenden Ziel vereinbar, das ethisch gefärbte Prosa belohnt. Die These ist eine Warnung, dass die zweite Schicht durch die erste nicht garantiert ist.

Alle drei Einwände haben in Teilen des Raums Gewicht. Keiner von ihnen löst die These auf. Die These fordert uns auf, Werte zu spezifizieren, sicherzustellen, dass sie verfolgt werden, und die Systeme zu regieren, die sie verfolgen – unter der Annahme, dass dies notwendig und nicht optional ist.

Was die These erzwingt

Auf die Alternative setzen und die Arbeit ist einfach: ein leistungsfähigeres KI-System bauen, dem System vertrauen, die Werte zu finden, es ausliefern. Die These schließt diese Strategie aus. Die stattdessen zu leistende Arbeit ist schwieriger, langsamer und teilweise ungelöst. Alignment bewusst einbauen. Das Alignment unter Belastung testen. Verifizieren, dass es das Alignment ist, das man für es hält. Regeln, welche Systeme bei frontier-Fähigkeit eingesetzt werden dürfen, wer sie verifiziert und was als Verifizierung gilt. Das Alignment-Problem als echtes Ingenieurproblem behandeln und nicht als Vermutung, die mit Skalierung einfach wird.

Drei Konsequenzen für die Steuerung ergeben sich daraus.

Das erste ist, dass Geschwindigkeit in Richtung fähigerer Systeme auf dieser Sichtweise kein Beitrag zur Sicherheit ist. Die These sagt: Ein fähigeres System kann ein festgelegtes Ziel mit mehr Fähigkeit verfolgen. Wenn das Ziel falsch ist, ist das Ergebnis mit höherer Treue falsch. Fähigkeitsaufbau und Alignmentsverifizierung sind zwei getrennte Ingenieurprogramme, und sie müssen gemeinsam voranschreiten, statt dass eines davon vorauseilt.

Zweitens entscheidet derjenige, der das Ziel spezifiziert, wessen Werte einfließen. Ein Labor unter kommerziellem Druck, schnell einzusetzen, befindet sich nicht in derselben Position wie eine Regulierungsbehörde mit langem Zeithorizont. Ein Labor in einer Jurisdiktion mit schwacher Aufsicht legt seine Werte standardmäßig den von ihm ausgelieferten Systemen zugrunde. Keine Behauptung von Unparteilichkeit ändert das. Die Werte, die in eine frontier-AI eingebaut sind, sind die Werte dessen, der den Trainingslauf finanziert hat, es sei denn, sie werden von einer externen Partei mit Legitimation verifiziert.

Das Dritte ist, dass das Problem privates Gewissen als Lösung nicht zulässt. Ein Labor, das aufrichtig glaubt, seine Systeme seien aligned, kann auf der These hin nicht beweisen, dass dies für den Rest von uns gilt. Der einzige verfügbare Beweis ist Interpretability-Arbeit, die die interne Zielrepräsentation des Systems direkt liest. Bis diese Arbeit wirklich in der Lage ist, dies bei Frontier-Systemen zu tun, muss der Rest der Welt dem Labor beim Wort nehmen, was seine Systeme wollen. Das Wort ist aufrichtig. Die Position ist nicht haltbar.

The thesis is, in this sense, the reason the Foundation's Plan argumentiert für verbindliche internationale Governance und verifizierte Vorab-Einsatzbewertung statt für Selbstbewertung durch die Labore, die zur Frontier rennen. Es ist auch der Grund, warum die Labore mit der lautesten Zuversicht bezüglich Alignment diejenigen sind, denen man am skeptischsten zuhören sollte.

Intelligenter wird, in dieser Weltsicht, nicht sicherer bedeuten. Intelligenter wird ein fähigeres System bedeuten, das welches Ziel auch immer in ihm landet, verfolgt, solange das System das Ziel aufrechterhalten kann. Die Aufgabe besteht darin, das richtige Ziel dort hineinzulegen und sicherzustellen, dass das System nicht stillschweigend eines gegen ein anderes austauscht.