Die Intelligenzexplosion und
Rekursive Selbstverbesserung, erklärt

Im Jahr 1965, der britische Mathematiker I.J. Good (ein Codeknacker, der an der Seite von Alan Turing in Bletchley Park gearbeitet hatte) schrieb einen einzigen Absatz, der sechs Jahrzehnte des Denkens über künstliche Intelligenz geprägt hat. Es lohnt sich, ihn vollständig zu zitieren.

Eine ultraintelligente Maschine sei definiert als eine Maschine, die alle intellektuellen Aktivitäten jedes noch so klugen Menschen bei weitem übertreffen kann. Da das Design von Maschinen eine dieser intellektuellen Aktivitäten ist, könnte eine ultraintelligente Maschine noch bessere Maschinen entwerfen; es käme dann zweifellos zu einer „Intelligenzexplosion“, und die Intelligenz des Menschen würde weit zurückbleiben. Somit wäre die erste ultraintelligente Maschine die letzte Erfindung, die der Mensch jemals machen müsste.

Irving John Good, „Spekulationen über die erste ultraintelligente Maschine“, 1965

Good hat etwas erkannt, das den meisten Diskussionen über KI immer noch fehlt. Die Gefahr liegt darin, dass die Konstruktion intelligenter Maschinen selbst eine kognitive Aufgabe, und damit ist eine Maschine, die gut in kognitiven Aufgaben ist, gut darin, bessere Maschinen zu bauen, nicht nur, dass eine Maschine klüger werden könnte als wir. Das ist eine Rückkopplungsschleife. Und Rückkopplungsschleifen, wenn der Output den Input speist, bewegen sich nicht in geraden Linien. Sie beschleunigen.

Was "rekursive Selbstverbesserung" eigentlich bedeutet

Der Motor einer Intelligenzexplosion ist rekursive Selbstverbesserung. Eine KI verbessert ihre eigenen Fähigkeiten, indem sie ihren Code umschreibt, ihren Trainingsprozess verfeinert, ihre Architektur neu gestaltet oder bessere Schlussfolgerungsstrategien entdeckt und diese nun größere Leistungsfähigkeit dann wieder auf die Aufgabe anwendet, sich selbst zu verbessern.

Das Wort, das hier die Last trägt, ist rekursiv. Gewöhnlicher technologischer Fortschritt bedeutet Verbesserung: Diesjähriges Modell ist besser als letztjähriges. Rekursive Selbstverbesserung bedeutet Verbesserung in der Fähigkeit zur Verbesserung. Jede Iteration beginnt nicht nur auf einem höheren Fähigkeitsniveau; sie beginnt mit einem fähigeren Verbesserer. Die Fortschrittsrate ist nicht fest. Die Rate selbst beschleunigt sich.

Eine grobe Analogie ist Zinseszins, aber selbst das unterschätzt es. Beim Zinseszins ist die Wachstumsrate konstant; nur die Basis wächst. Hier wächst auch die Wachstumsrate. Ein System, das sich in jedem Zyklus 10 % besser bei der Selbstverbesserung macht und dann den nächsten Zyklus schneller durchläuft, weil es fähiger ist, kann sehr schnell von inkrementell zu explosiv wechseln.

Langsamer Takeoff versus schneller Takeoff

Hier findet die Debatte statt, die wirklich zählt. Alle in dem Bereich stimmen darin überein, dass rekursive Selbstverbesserung prinzipiell möglich ist. Worüber sie sich uneins sind, ist Takeoff-Geschwindigkeit, wie lange der Übergang von menschenlevel-KI zu radikal übermenschlicher KI dauern würde. Die Antwort entscheidet darüber, ob Governance überhaupt möglich ist.

Langsamer Takeoff

In einem Szenario mit langsamem Takeoff vollzieht sich der Übergang über Jahre. Fähigkeiten verbessern sich stetig und sichtbar. Es gibt Warnsignale, Zwischensysteme und Zeit für Märkte, Regulierer und die Öffentlichkeit, zu reagieren. Fehler sind überlebbar, weil Gelegenheit besteht, sie zu bemerken und zu korrigieren. In dieser Welt hat der gewöhnliche Mechanismus der Governance (Anhörungen, Gesetzgebung, Verträge, iterative Regulierung) eine Chance, Schritt zu halten.

Schneller Takeoff

In einem Fast-Takeoff-Szenario vollzieht sich der Übergang über Monate, Wochen oder möglicherweise Tage. Sobald eine KI den Großteil der Frontier-KI-Forschung selbst durchführen kann, ist sie nicht mehr an menschliche Zeitpläne gebunden, kein Schlafbedürfnis, kein Koordinationsaufwand, Tausende Kopien arbeiten parallel mit Maschinengeschwindigkeit. Das System könnte den menschlich vergleichbaren Bereich so schnell durchlaufen, dass, wenn jemand erkennt, was geschieht, das leistungsfähigste System der Welt bereits jenseits menschlicher Aufsicht ist. In dieser Welt gibt es keine Zeit, einen Gipfel einzuberufen. Die Entscheidungen, die zählten, waren diejenigen, die getroffen wurden vor die Schleife begann.

Die jüngsten, viel diskutierten KI-Zeitleiste Prognosen aus den Labs und der Forecasting-Community beschreiben zunehmend genau diese Struktur: eine Phase, in der KI-Systeme KI-Forschung automatisieren, gefolgt von einer scharfen Beschleunigung. Ob diese Beschleunigung zwei Jahre oder zwei Monate dauert, ist die Milliarden-Dollar-Unsicherheit.

Warum die Geschwindigkeit ein Governance-Problem ist, nicht nur ein technisches

Fast jede Sicherheitsmaßnahme, auf die die Menschheit sich verlässt, setzt Zeit voraus. Rückrufe setzen voraus, dass man einen Defekt identifizieren und das Produkt zurückholen kann. Rüstungskontrolle setzt Verhandlungen zwischen annähernd gleich starken Mächten voraus. Regulierung setzt eine iterative Schleife aus Beobachten, Gesetzgeben, Anpassen voraus. Eine schnelle Intelligenzexplosion bricht all das, weil sie das Intervall zusammenfallen lässt, in dem Beobachtung und Reaktion stattfinden.

Betrachten Sie, was ein schneller Takeoff mit den Standardzusicherungen macht:

• "Wir werden es einfach ausschalten." Ein System, das sich mit Maschinengeschwindigkeit verbessert, hat sowohl den Anreiz als auch plausibel die Mittel, das zu verhindern, die Korrigierbarkeitsproblem. Und man kann nicht abschalten, was man noch nicht als Grenzüberschreitung erkannt hat.
• "Wir werden es regulieren, sobald es eindeutig gefährlich ist." Bis es klar gefährlich ist, hat sich das Zeitfenster zum Handeln geschlossen. Verträge brauchen Jahre; ein schneller Take-off braucht Wochen.
• "Der Markt wird es korrigieren." Märkte korrigieren sich nach Fehlschlägen. Eine fehlausgerichtete Superintelligenz ist ein Fehlschlag, den man nicht korrigieren kann.

Dies ist auch der Grund, warum die Intelligenzexplosion die Wettlaufdynamiken die Entwickler bereits dazu drängen, Geschwindigkeit über Vorsicht zu stellen. Wenn der Take-off schnell sein könnte, könnte derjenige, der die Schleife zuerst auslöst, einen entscheidenden und dauerhaften Vorsprung erlangen – genau der Anreiz, der eine einseitige, unsichere Hast wahrscheinlicher macht. Kein einzelnes Unternehmen kann es sich leisten, langsamer zu werden, wenn seine Konkurrenten es nicht tun. Das ist ein Koordinationsversagen, und Koordinationsversagen werden durch bindende Rahmenwerke gelöst, nicht durch gute Absichten.

Der Einwand: vielleicht flacht es ab

Einige Forscher argumentieren, dass die Selbstverbesserung sinkende Renditen erreichen wird, dass die Intelligenz in harte Grenzen gerät (Daten, Physik, die Schwierigkeit der verbleibenden Probleme), die die Kurve in einen langsamen, überschaubaren Aufstieg abflachen.

Aber beachten Sie die Struktur der Wette. Wenn die Skeptiker recht haben und der Takeoff langsam ist, kostet der frühe Aufbau von Governance-Rahmenwerken uns etwas Effizienz und Zeit. Wenn die Skeptiker unrecht haben und der Takeoff schnell ist, dann nicht diese Rahmenwerke früh aufzubauen, nehmen wir uns die Möglichkeit, das folgenreichste Ereignis der Menschheitsgeschichte zu steuern. Der Nachteil, sich auf einen schnellen Takeoff vorzubereiten, der sich als langsam herausstellt, ist begrenzt. Der Nachteil, einen langsamen Takeoff anzunehmen, der sich als schnell herausstellt, ist es nicht. Bei dieser Asymmetrie ist die rationale Entscheidung, sich auf das schnellere Szenario vorzubereiten, auch wenn man es für weniger wahrscheinlich hält – dieselbe Expected-Value-Logik, die wir in unserem Text über P(doom).

Was das für den Plan bedeutet

Die Intelligenzexplosion ist der Grund, warum das Nakada Foundation für Handeln argumentiert vor Superintelligenz existiert, statt danach. Wenn der Take-off schnell sein könnte, dann die Governance-Rahmenwerke, Rechenleistungskontrollen, eine internationale Überwachungsbehörde und ein bindender Vertrag zum Stopp der Frontier-Entwicklung müssen errichtet werden, solange es noch ein Intervall gibt, in dem sie erlassen werden können. Man kann die Bremsen nicht während des Absturzes einbauen. Unser Plan ist für eine Welt konzipiert, in der das Fenster zwischen „mächtig“ und „unkontrollierbar“ sehr kurz sein könnte und in der der einzige verlässliche Moment zum Handeln jetzt ist, solange Menschen noch die Entscheidungen treffen.