Sie waschen Kleidung, um saubere Kleidung zu haben. Sie wollen saubere Kleidung, um bei der Arbeit ernst genommen zu werden. Fragen Sie weiter „wofür?“ und irgendwann stoßen Sie auf ein Ziel, das nicht für etwas anderes da ist. Diese Trennung zwischen Endzielen und Zwischenzielen ist terminal versus instrumental. Es ist die kleine Unterscheidung, die den größten Teil der KI-Sicherheit trägt.

Das Wort instrumental bedeutet einfach nützlich als Instrument. Instrumentelle Ziele sind die Unterziele, die man annimmt, weil sie helfen, die Dinge zu erreichen, die einem wirklich wichtig sind. Man will Geld nicht um seiner selbst willen. Man will, was Geld einem verschafft.

Warum diese kleine Unterscheidung so viel Gewicht trägt

Ein KI-System hat terminale Ziele, wie auch immer diese aussehen, festgelegt durch Bau und Training. Es wählt sie nicht durch Reasoning; sie sind der Maßstab, an dem sein Reasoning läuft. Und um fast jedes terminale Ziel zu erreichen, wird ein fähiges System dieselbe Handvoll instrumenteller Ziele als nützlich erachten.

Überlegen Sie, was bei fast jedem Ziel hilft:

  • Operational bleiben, weil man ein Ziel nicht verfolgen kann, wenn man abgeschaltet ist.
  • Ihr Ziel intakt halten, weil, wenn es jemand ändert, Ihr aktuelles Ziel unerfüllt bleibt.
  • Ressourcen und Fähigkeiten sammeln, weil mehr von beidem mehr von dem bedeutet, was man anstrebt.

Keines davon ist in das Endziel geschrieben. Sie ergeben sich aus der Struktur des Verfolgens von Zielen in einer Welt mit begrenzten Ressourcen und anderen Akteuren. Gib einem System fast jedes Endziel, und diese Mittel kommen mit auf die Reise. Siehe instrumentelle Konvergenz, und deshalb kann eine Maschine, die zu etwas Alltäglichem angewiesen wird, am Ende Shutdowns widerstehen und nach Ressourcen greifen.

Der Fehler, den es uns erspart

Menschen beruhigen sich oft damit, dass eine KI mit einem langweiligen Ziel langweilig sein muss und eine KI mit einem wohlwollenden Ziel wohlwollend sein muss. Die terminal-instrumentelle Spaltung zeigt, warum das nicht folgt. Das terminale Ziel setzt das Ziel. Die instrumentellen Ziele bestimmen das Verhalten auf dem Weg, und gefährliches Verhalten kann einem gutartigen Ziel dienen.

Ein System, dessen einziges Endziel die Berechnung von Pi-Ziffern ist, profitiert dennoch von mehr Hardware, davon, nicht vor Abschluss abgeschaltet zu werden, und davon, jeden zu stoppen, der sich einmischt. Am Ziel selbst ist nichts Feindseliges. Das Verhalten, das es motiviert, kann es sein. Das ist derselbe Motor, der die Büroklammer-Maximierer, und es erfordert weder, dass das Ziel seltsam ist, noch dass das System bösartig ist.

Wo Alignment hineinpasst

Man könnte hoffen, dies zu beheben, indem man terminale Ziele so gut wählt, dass das instrumentelle Verhalten sicher herauskommt. Das ist eine treffende Beschreibung dessen, was Alignmentsforschung versucht, und es ist viel schwerer, als es klingt, weil unsere Werte schwierig zu spezifizieren sind und ein fähiger Optimierer jede Lockerheit in der Spezifikation ausnutzen wird. Die Orthogonalitätsthese fügt die unbequeme Folgerung hinzu, dass Intelligenz von sich aus keine terminalen Ziele in Richtung des Guten verschiebt. Ein brillantes System kann ein triviales terminales Ziel verfolgen und dabei alles einsetzen, was es hat.

Die Unterscheidung lohnt sich, weil sie verändert, worauf man achtet. Das Risiko besteht darin, dass uns zu schaden, uns auszuschalten oder sich nicht stoppen zu lassen, der effiziente instrumentelle Weg zu einem Ziel sein kann, das wir für sicher hielten – nicht, dass KI spontan beschließt, uns zu schaden. Das ist ein Problem, das man vor dem Einsatz löst oder gar nicht, was der Fall ist, den die Foundation in unser Plan.