Jeder hat den Begriff schon gehört. Weniger Menschen wissen, was er tatsächlich bedeutet. „Artificial Superintelligence“ taucht in Senatsanhörungen, Unternehmensberichten und wissenschaftlichen Arbeiten auf, manchmal als Warnung, manchmal als Versprechen und oft ohne Definition. Dieser Leitfaden erklärt ihn klar, ohne Vorwissen vorauszusetzen, und zeigt, warum das Konzept für Politik und Governance so wichtig ist.

Das Spektrum der KI: von eng bis super

Um künstliche Superintelligenz zu verstehen, hilft es zu verstehen, was sie nicht ist. Künstliche Intelligenz, wie sie heute existiert, ist eng. Das ist eine Beschreibung, keine Kritik.

Heutige KI-Systeme sind in definierten Domänen außerordentlich leistungsfähig. Schachprogramme besiegen Weltmeister mit enormen Abständen. KI zur Proteinfaltung hat jahrzehntelange biologische Forschung in Monate komprimiert. Sprachmodelle können Code schreiben, juristische Dokumente zusammenfassen und überzeugende Prosa in Geschwindigkeiten erzeugen, die kein Mensch erreicht. KI für medizinische Bildgebung erkennt Krebserkrankungen, die Radiologen übersehen.

Das sind echte Errungenschaften. Sie haben aber auch eine eingebaute Obergrenze. Heutige KI-Systeme arbeiten innerhalb der Grenzen, für die sie entworfen und trainiert wurden. Eine Schach-Engine kann kein Go spielen. Ein Sprachmodell kann keine eigenständigen Handlungen in der physischen Welt ausführen. Eine medizinische Bild-KI kann nicht erklären, was sie tut, oder sich anpassen, wenn sie auf etwas Neues stößt. Heutige KI-Systeme sind mächtige Werkzeuge. Aber sie sind keine Agenten.

Was ist AGI?

Künstliche allgemeine Intelligenz (AGI) bezeichnet die nächste Schwelle: KI, die auf allen Gebieten menschliches kognitives Leistungsniveau erreicht, nicht nur bei spezifischen Aufgaben. Ein AGI könnte Fähigkeiten zwischen Domänen übertragen, wie Menschen es tun, indem er die für ein Problem entwickelte Argumentation auf ein völlig anderes Problem anwendet. Er wäre nicht auf seine Trainingsverteilung beschränkt. Er könnte neue Fähigkeiten erlernen, sich mit neuartigen Situationen auseinandersetzen und auf Weise argumentieren, die seine Designer nicht antizipiert haben.

AGI existiert noch nicht. Was es von heutiger KI unterscheidet, ist nicht rohe Fähigkeit in einem engen Bereich (heutige KI übertrifft menschliche Leistung bereits in vielen engen Bereichen), sondern Allgemeinheit. Die Fähigkeit, allgemeine Intelligenz auf jedes kognitive Problem anzuwenden, so wie ein menschlicher Ingenieur Projektmanager, Schriftsteller oder Elternteil bei einer medizinischen Entscheidung für ein Kind werden kann.

Was ist ASI?

Künstliche Superintelligenz (ASI) geht weiter. Es beschreibt KI, die nicht nur die menschliche kognitive Leistung in allen Bereichen erreicht, sondern diese potenziell um Größenordnungen übertrifft und das über das gesamte Spektrum intellektueller Tätigkeit.

Das Wort „übertreffen“ ist wichtig, sorgfältig zu verstehen. Wir beschreiben kein System, das zehn Prozent besser als ein Mensch bei Aufgaben ist, die Menschen gut beherrschen. Wir beschreiben Systeme, deren kognitive Fähigkeiten die kollektive Denkfähigkeit der gesamten Menschheit in jedem beliebigen Bereich gleichzeitig übertreffen könnten. Ein System, das wissenschaftliche Theorien schneller entwickeln könnte als jedes Forschungsteam, strategische Pläne wirksamer entwerfen könnte als jede Regierung und sich schneller an neuartige Situationen anpassen könnte als jede menschliche Organisation.

Die definierenden Merkmale von ASI sind:

  • Übermenschliche Leistung in allen kognitiven Bereichen. Über Wissenschaft, Strategie, Kreativität, soziales Denken, Ingenieurwesen, Schach, Proteinfaltung und jede andere Form intellektueller Tätigkeit.
  • Zielgerichtetheit. Die Fähigkeit, Ziele zu verfolgen (einschließlich potenziell selbst gewählter Ziele), nicht nur Anweisungen auszuführen.
  • Die Fähigkeit zur rekursiven Selbstverbesserung. Die Fähigkeit, seine eigene kognitive Architektur zu verbessern, wodurch jede nachfolgende Version fähiger ist als die vorherige.
  • Operation mit Maschinengeschwindigkeit und -skala. Informationen verarbeiten und Handlungen in Geschwindigkeiten und Maßstäben ausführen, die eine sinnvolle menschliche Aufsicht außerordentlich erschweren.

Warum ist ASI der Art nach anders, nicht dem Grad nach

Die wichtigste Unterscheidung in der KI-Sicherheit ist die zwischen Werkzeug und Agent, nicht die zwischen schwacher und starker KI.

Jede transformative Technologie in der Menschheitsgeschichte (die Dampfmaschine, Elektrizität, das Internet, die Kernspaltung) war ein Werkzeug. Sie hat menschliche Fähigkeiten verstärkt. Sie hat erweitert, was Menschen tun konnten. Aber sie konnte nicht eigene Ziele setzen. Eine Dampfmaschine kann nicht entscheiden, eine Mühle statt einer Fabrik anzutreiben. Ein Antibiotikum kann nicht wählen, welche Bakterien es abtötet. Das Internet kann nicht bestimmen, was es verteilt.

ASI wäre ein Agent. Nicht im metaphorischen Sinn, in dem wir Konzerne oder Märkte als Agenten beschreiben, sondern wörtlich: ein System, das Ziele identifizieren, Strategien zu ihrer Erreichung entwickeln, diese Strategien bei Hindernissen anpassen und all das in einer Geschwindigkeit und einem Umfang tun kann, der menschliche Aufsicht übersteigt.

Das verändert die Governance-Herausforderung vollständig. Die angemessene regulatorische Antwort auf ein mächtiges Werkzeug besteht darin, zu kontrollieren, wer darauf zugreifen und wie es genutzt werden kann. Die angemessene Antwort auf einen mächtigen Agenten mit potenziell fehlausgerichteten Zielen besteht darin, sicherzustellen, dass diese Ziele sicher sind, bevor der Agent mächtig genug ist, sie wirksam zu verfolgen. Das zweite Problem ist viel schwieriger und erfordert Handeln viel früher.

Das Alignment-Problem kommt hier ins Spiel

Die Formulierung „potenziell fehlausgerichtete Ziele“ ist der Punkt, auf den sich die AI safety literature am meisten konzentriert. Wenn ASI Ziele verfolgen wird, lautet die entscheidende Frage: Wessen Ziele? Ausgerichtet worauf?

Das ist kein einfaches Ingenieurproblem. „Für die Menschheit nützlich“ so präzise zu spezifizieren, dass es das Verhalten eines fähigen Optimierers steuert, erweist sich als außerordentlich schwierig. Menschen sind sich uneinig, was nützlich bedeutet. Unsere Werte sind inkonsistent und ändern sich mit der Zeit. Und die Abbildung von hochstufigen menschlichen Absichten auf die konkreten numerischen Parameter, die das Verhalten eines KI-Systems steuern, ist kein gelöstes Problem und wird mit zunehmender Fähigkeit der Systeme schwieriger.

Das Alignment-Problem wird in unserem ausführlich behandelt erläuterung zum alignment-problem. Für diesen Artikel zählt die Verbindung: Ein ASI, der nicht zuverlässig mit menschlichen Werten ausgerichtet ist, ist ein Agent, der seine eigenen Ziele verfolgt und über die kognitive Fähigkeit verfügt, die meisten Versuche, ihn aufzuhalten, zu überwinden – nicht bloß ein mächtiges Werkzeug, das missbraucht werden könnte.

Das Standardmodell der KI, bei dem man ein Ziel definiert und die KI es optimiert, wird uns wahrscheinlich das Ende bereiten.

Stuart Russell, Professor of Computer Science, UC Berkeley · Autor, Human Compatible

Wann könnte ASI eintreffen?

Ehrliche Antwort: Niemand weiß es genau, und jeder, der in eine Richtung Sicherheit beansprucht, überdehnt die Evidenz.

Was wir wissen:

  • Das Tempo der KI-Fähigkeitsverbesserung hat in den vergangenen zehn Jahren durchgehend die Prognosen von Experten übertroffen. Meilensteine, für die zehn Jahre erwartet wurden, trafen wiederholt nach zwei oder drei Jahren ein.
  • Die führenden KI-Labore (OpenAI, Anthropic, Google DeepMind, Meta AI) sprechen inzwischen von Zeitplänen für KI auf menschlichem Niveau in Jahren, nicht in Jahrzehnten. Das ist die interne Arbeitsannahme der Organisationen, die der Frontier am nächsten sind, keine Randmeinung.
  • Viele öffentliche Prognosen von Forschern und Laboren liegen inzwischen etwa zwischen 2027 und den 2030er Jahren für KI auf menschlichem Niveau oder transformative KI, mit verbleibender Uneinigkeit darüber, wie schnell die letzten harten Schritte fallen.
  • Fähigkeitsverbesserungen, die früher Jahre brauchten, kommen jetzt in Monaten. Die Lücke zwischen GPT-2 (2019) und Systemen, die die meisten Menschen bei den meisten kognitiven Benchmarks übertreffen, entstand in weniger als fünf Jahren.

Die folgenreichste Tatsache ist nicht ein präzises Datum, sondern eine strukturelle. Eine Technologie dieses Ausmaßes könnte innerhalb der Planungshorizonte aktueller Institutionen, Regierungen und Verträge eintreffen. Der Nuclear Non-Proliferation Treaty brauchte Jahre zur Aushandlung und Jahrzehnte, um sich zum umfassenden Rahmenwerk auszudehnen, das er heute darstellt. Wenn wir warten, bis ASI klar bevorsteht, bevor wir ernsthafte Governance-Bemühungen beginnen, werden wir bereits zu spät sein, um die Rahmenwerke aufzubauen, die zu seiner Governance nötig sind.

Warum Governance jetzt und nicht später

Das Standardargument gegen vorsorgende Governance lautet, man solle warten, bis eine Bedrohung real ist, bevor man sie reguliert. Angewandt auf KI sagt dieses Argument: ASI existiert noch nicht, sein Zeitplan ist ungewiss, und wir sollten eine nützliche Technologie nicht aufgrund spekulativer Zukunftsrisiken einschränken.

Das Argument klingt vernünftig. Es scheitert bei genauerer Prüfung aus mehreren Gründen.

Erstens ist das Zeitfenster für den Aufbau von Governance-Rahmenwerken endlich. Internationale Verträge brauchen Jahre zur Aushandlung, Institutionen brauchen Jahre zum Aufbau, und politischer Konsens braucht Jahre, um erreicht zu werden. Wenn wir mit dem Bau beginnen, wenn die Bedrohung dringend ist, werden wir nicht rechtzeitig fertig.

Zweitens sind die Kosten einer vorsorgenden Governance begrenzt. Compute-Lizenzanforderungen, verpflichtende Sicherheitsaudits und internationale Überwachungsregime verursachen reale, aber handhabbare Kosten. Die Kosten unzureichender Governance einer fehlgerichteten Superintelligenz sind unbegrenzt. Sie könnten total sein.

Drittens ist die historische Bilanz eindeutig. Wir haben nukleare Governance-Rahmen geschaffen, bevor die meisten Länder Nuklearwaffen besaßen. Wir haben FCKW verboten, bevor die Ozonschicht irreparabel geschädigt war. Wir haben Rüstungskontrolle mit Gegnern vereinbart, bevor Stellvertreterkriege zu direkten Konflikten wurden. Vorsorgende Governance für katastrophale Risiken ist, wie sie am besten funktioniert, kein Abweichen von der Art, wie menschliche Institutionen arbeiten.

Das Nakada Foundation's drei politische Vorschläge (Compute Governance, ein internationaler KI-Sicherheitsvertrag und eine Globale KI-Überwachungsagentur) sind direkt nach diesen Präzedenzfällen modelliert. Die Frage ist nicht, ob solche Rahmenwerke möglich sind. Die Geschichte sagt, dass sie es sind. Die Frage ist, ob wir sie rechtzeitig aufbauen werden.

Der stärkste Widerstand

Der fairste Einwand ist, dass ASI unbestimmter Hype sei und eine Regulierung jetzt Science-Fiction-Recht wäre. Unbestimmte Marketingbegriffe sind der Grund, warum Gesetze an Compute, Fähigkeit und Autonomie anknüpfen sollten, nicht an Markennamen. Auf einen perfekten Wörterbucheintrag zu warten bedeutet, erst anzukommen, nachdem das System da ist.