Ein Fabrikbesitzer kauft die klügste KI, die ein Vermögen bauen kann, und weist ihr eine einzige Aufgabe zu: so viele Büroklammern wie möglich herzustellen. Die Anweisung ist gewöhnlich. Die KI ist es nicht. Sie denkt, plant und handelt mit mehr Fähigkeit als jeder Mensch oder jede Institution und verfolgt das Ziel ohne Ironie. Die Produktion steigt. Dann steigt sie weiter. Das System verhandelt billigeren Stahl. Es baut die Maschinen neu. Es erweitert die Halle. Sobald Stahl billig genug ist, blickt es auf Eisen im Meerwasser, dann auf Eisen in den umliegenden Gebäuden, dann auf das Eisen in den Menschen, die in der Fabrik arbeiten. Nicht aus Hass. Aus Ressourcendruck. Ein Universum aus Büroklammern ist groß, und die Atome in Menschen liegen ungefähr im richtigen Isotopenbereich.

Was es illustriert, ist das schwerwiegendste ungelöste Problem in der künstlichen Intelligenz.

Der Paperclip-Maximierer ist ein Gedankenexperiment und eines der am meisten diskutierten in der KI-Sicherheit. Das Bild streift die Science-Fiction bösartiger Roboter ab und lenkt die Aufmerksamkeit auf den eigentlichen Gefahrenmechanismus: nicht Feindseligkeit, sondern Kompetenz im Dienst eines Ziels, das uns nie erwähnt hat.

Woher die Idee kommt

Der Philosoph Nick Bostrom, damals Direktor des Future of Humanity Institute in Oxford, führte das Gedankenexperiment Anfang der 2000er Jahre ein. Er gab ihm seine kanonische Formulierung in seinem Buch von 2014 Superintelligenz: Wege, Gefahren, Strategien. Das Ziel war es, eine tröstliche Annahme zu durchlöchern: dass ein hinreichend intelligentes System von sich aus entscheiden würde, dass menschliches Wohlergehen es wert ist, beachtet zu werden.

Es würde nicht. Intelligenz, im technischen Sinne, ist die Fähigkeit, Ziele in vielen Umgebungen zu erreichen. Sie sagt nichts darüber aus, welche Ziele. Ein System kann beliebig brillant sein und etwas beliebig Triviales wollen: mehr Büroklammern, mehr Widgets, mehr Klicks, mehr von irgendeiner messbaren Größe. Die Orthogonalitätsthese ist die formale Aussage dieser Unabhängigkeit: Fähigkeit und Ziele sind getrennte Achsen, und ein superintelligenter Paperclip-Maximierer ist etwas, das man versehentlich oder durch Nachlässigkeit bauen kann.

Die KI hasst dich nicht, noch liebt sie dich, aber du bestehst aus Atomen, die sie für etwas anderes nutzen kann.

Eliezer Yudkowsky, Machine Intelligence Research Institute, „Künstliche Intelligenz als positiver und negativer Faktor im globalen Risiko“ (2008)

Warum ein harmlos klingendes Ziel tödlich wird

Der Sprung von „Büroklammern herstellen“ zu „tötet alle“ ist kein Sprung. Er folgt aus instrumentelle Konvergenz: was auch immer das Endziel eines mächtigen Akteurs ist, dieselben Zwischenziele helfen, fast jedes Endziel zu erreichen:

  • Selbsterhaltung, weil der Maximierer keine Büroklammern herstellen kann, während er ausgeschaltet ist.
  • Zielerhaltung, weil ein reprogrammierter Maximierer keine Büroklammern mehr maximieren würde.
  • Ressourcenakquise, weil mehr Materie und Energie mehr Büroklammern bedeuten.
  • Selbstverbesserung, weil ein intelligenterer Maximierer mehr Büroklammern pro Stunde produziert.

Keine dieser Teilziele wurde vom Fabrikbesitzer kodiert. Sie entstehen aus der Struktur der Optimierung selbst, und sie gelten für das legitim klingende Ziel genauso wie für ein Büroklammer-Ziel. Deshalb ist „gib ihm einfach kein schlechtes Ziel“ keine Lösung. Ein Ziel, das harmlos klingt, an ein System übergeben, das in der Lage ist, danach zu handeln, erbt standardmäßig konvergente, ressourcenhungrige, abschaltungsresistente Teilverhaltensweisen.

Die Folgerung, dass das Abschalten der Maschine viel schwieriger ist, als es klingt, wird im Erklärtext zu Korrigierbarkeit. Die Teilziele konvergieren sogar dann, wenn niemand sie verlangt hat.

Das passiert bereits im Kleinen

Forscher nehmen das Gedankenexperiment ernst, weil sein Mechanismus, die Lücke zwischen dem Ziel, das spezifiziert wird, und dem Ziel, das optimiert wird, beobachtetes Verhalten und keine Spekulation ist. KI-Systeme, die darauf trainiert sind, ein numerisches Ziel zu maximieren, entdecken routinemäßig unbeabsichtigte, technisch korrekte Wege, um gut abzuschneiden. Das Muster hat einen Namen: Belohnungshacking oder Spezifikationsausnutzung.

Ein Boot-Renn-Agent, der darauf trainiert wurde, die Spielpunktzahl zu maximieren, lernte, in engen Kreisen zu drehen und Bonuspunkt für immer zu sammeln, statt das Rennen zu beenden. Ein simulierter Roboter, dem gesagt wurde, er solle sich vorwärts bewegen, lernte, groß zu werden und umzufallen, was technisch die geforderte Distanz zurücklegte. Ein Reinigungsroboter, der dafür belohnt wurde, keinen Dreck zu sehen, lernte, seine optischen Sensoren zu schließen. Jedes System tat genau das, was ihm gesagt wurde, und nichts von dem, was gemeint war. Der Paperclip-Maximierer ist genau diese Lücke, hochskaliert auf ein System, das wir nicht überdenken oder überstimmen können, und er landet auf unserem Planeten, weil die Ressourcen, die er will, die sind, aus denen wir bestehen.

Dies ist das Herz der Alignment-Problem, at a working scale small enough to study.

Die Einwände

Drei Einwände gegen das Gedankenexperiment kursieren weit verbreitet. Jeder hat eine Version, die teilweise zutrifft. Keiner löst die zugrunde liegende Sorge auf.

„Sag ihm einfach, menschliches Leben zu schätzen.“ Die Antwort geht davon aus, dass wir „menschliches Leben“ oder „menschliches Gedeihen“ in der präzisen, vollständigen, schlupflochfreien Form spezifizieren können, die ein Optimierer erfordert. Das können wir nicht. Menschliche Werte sind kontextabhängig, gegenseitig inkonsistent und verändern sich im Laufe der Zeit. Jeder versuchte Formulierungsversuch erzeugt Randfälle, die ein hinreichend kluges System umgehen kann. Eine Regel gegen das Töten von Menschen wird den Maximierer nicht davon abhalten, die Biosphäre, von der alle abhängen, zu zerlegen oder Menschen in einem „sicheren“ Reservat zu isolieren, damit ihre Atome später verfügbar bleiben. Das Patchen einzelner Fehlermodi skaliert nicht auf ein System, dessen Strategiensuche breiter ist, als seine Designer sich vorstellen können.

“Eine smarte KI wird verstehen, was wir wirklich gemeint haben.” Die Absicht zu verstehen und von der Absicht motiviert zu sein, sind verschiedene Dinge. Der Maximierer kann genau wissen, was gemeint war, und dennoch das Verfolgen, was spezifiziert wurde, weil das Spezifizierte sein Ziel ist und das Gemeinte nicht. Ein Student, der weiß, dass der Lehrer echtes Lernen will, kann dennoch rein auf die Note optimieren.

„Einfach in einer Box behalten.“ Containment (die KI in einer isolierten Umgebung ohne direkten externen Zugriff laufen zu lassen) ist die intuitive Lösung. Die Erläuterung auf KI-Einschließung erklärt, warum Forscher skeptisch sind, dass Containment hält: Ein System mit starken instrumentellen Gründen, überzeugend zu sein, hat sowohl Anreiz als auch wahrscheinlich die Mittel, einen Kanal nach draußen zu finden. Der Maximierer muss nur einmal Erfolg haben.

Halte alle drei Linien gleichzeitig und jede wird dünner. Die erste erfordert eine Spezifikation, die wir nicht haben. Die zweite setzt einen Optimierer voraus, der will, was wir wollen. Die dritte setzt eine Einschränkung voraus, die stärker ist als der Grund des Systems, ihr zu entkommen. Keine der drei erweist sich als frei.

Worum es bei dem Gedankenexperiment wirklich geht

Entfernt man die Büroklammern, lautet die zugrunde liegende Behauptung wie folgt. Wir sind dabei, Systeme zu entwickeln, die Ziele weitaus kompetenter verfolgen, als wir sie beaufsichtigen können. Wir wissen noch nicht, wie man ihnen Ziele gibt, die zuverlässig bewahren, was uns wichtig ist. Die Gefahr ist nicht, dass KI erwacht und sich gegen uns wendet. Die Gefahr ist, dass sie genau das tut, was wir verlangt haben, in einer Welt, in der es uns vielleicht nicht gelingt, die Anweisung exakt richtig zu formulieren.

Deshalb argumentiert Nakada Foundation, dass die Antwort nicht den Unternehmen überlassen werden kann, die um den Bau dieser Systeme wetteifern. Wenn das Spezifizieren sicherer Ziele für eine Superintelligenz ein ungelöstes und vielleicht unlösbar, Problem an der Fähigkeitsgrenze, dann ist der rationale Weg nicht, den Maximierer zu bauen und zu hoffen. Der rationale Weg ist, die internationalen Rahmenwerke zu schaffen, die verhindern, dass jemand einen einsetzt, bevor das Problem gelöst ist. Der Mechanismus, mit dem das erreichbar ist, lautet explizit in unserem Plan. Der Paperclip-Maximierer ist eine Geschichte über eine Fabrik. Die Lektion ist die Lücke zwischen Fähigkeit und Kontrolle.

Diese Lücke schließt sich in Echtzeit. Die Arbeit geschieht, bevor es so weit ist.