Ich leite eine Stiftung, um die rücksichtslose Entwicklung künstlicher Superintelligenz zu verhindern. Ich glaube, die nächsten fünfzig Jahre könnten die besten in der Geschichte unserer Spezies sein. Ich glaube nur nicht, dass wir alles riskieren müssen, um dorthin zu gelangen, und ich denke nicht, dass die Menschen, die das Risiko verkaufen, die Rechnung für ihre eigene Wette gemacht haben.
Die Zukunft, die der Superintelligenz-Verkauf verspricht (geheilte Krankheiten, billige saubere Energie, Entdeckungen, die kein einzelnes Labor erreichen könnte), trifft bereits durch enge, kontrollierbare KI ein, die keine eigenen Ziele hat. Wir müssen keinen Nachfolger für uns selbst bauen, um sie zu ernten.
Es gibt enge KI: ein System, das darauf trainiert ist, eine einzige Art von Aufgabe extrem gut zu erledigen – einen Scan zu lesen, ein Protein zu falten, einen Sturm vorherzusagen, einen Heuhaufen Chemie nach der einen nützlichen Verbindung zu durchsuchen. Dann gibt es das, was die Frontier-Labs sagen, dass sie tatsächlich bauen: einen allgemeinen Agenten, der menschliches Denken in jedem Bereich gleichzeitig erreichen oder übertreffen soll und schließlich eigenständig handeln soll. Das Erste ist ein Werkzeug. Das Zweite soll ein Geist sein. Fast alles Wunderbare, das Menschen sich in einer KI-Zukunft vorstellen, kommt aus der ersten Kategorie. Fast alles, was uns erschrecken sollte, kommt aus der zweiten.
Was schwache KI bereits tut
Im Jahr 2022 veröffentlichte ein System namens AlphaFold vorhergesagte Strukturen für mehr als 200 Millionen Proteine, nahezu jedes der Wissenschaft bekannte Protein. Biologen hatten Jahrzehnte damit verbracht, diese Formen einzeln durch mühsame Experimente aufzuklären; der Rückstau löste sich in etwa einem Jahr auf. Die Arbeit war bedeutsam genug, dass ihre Schöpfer 2024 den Nobelpreis für Chemie teilten. AlphaFold will nichts. Es hat keine Wochenendpläne. Es liest Sequenzen und liefert Formen, und damit hat es die Suche nach Medikamenten gegen Krankheiten beschleunigt, die uns über Generationen widerstanden haben.
Dieselbe Art von Geschichte wiederholt sich immer wieder. Ein Modell namens GraphCast produziert nun Zehn-Tage-Wettervorhersagen, die die traditionellen physikbasierten Systeme in den meisten Maßen übertreffen, in unter einer Minute, auf einer einzelnen Maschine. Ein anderes, losgelassen im Raum möglicher Materialien, schlug Hunderttausende neuer stabiler Kristalle vor (Kandidaten für Batterien, Supraleiter, Solarmaterialien) und erweiterte damit einen Katalog, den das Fachgebiet den größten Teil eines Jahrhunderts brauchte, um ihn zusammenzustellen. Und eine Schleife gewöhnlicher Sprachmodelle, auf ungelöste Mathematik gerichtet, kürzlich neun offene Probleme gelöst.
In Kliniken markieren schmale Modelle bereits diabetische Augenerkrankungen, bevor ein Patient Symptome bemerkt, triagieren Schlaganfälle anhand eines CT-Scans und lesen Mammografien auf dem Niveau ausgebildeter Radiologen. Keines dieser Systeme ist eine allgemeine Intelligenz. Jedes ist eher einem sehr guten Instrument ähnlich (einem für ein einziges Problem gebauten Mikroskop), und jedes erweitert, was ein Mensch sehen und tun kann.
Jede dieser Durchbrüche wurde von einem System mit einem engen Auftrag und ohne eigene Handlungsfähigkeit geliefert. Wir erhielten den Nutzen maschineller Intelligenz, ohne irgendeiner Maschine die Schlüssel in die Hand zu geben.
Utopie ist ein Werkzeugproblem
Stellen Sie sich die Zukunft vor, die die Optimisten beschreiben. Krebs wird zu einer Erkrankung, die man managt, statt zu einem Urteil. Wir verstehen das Altern gut genug, um es zu verlangsamen, und die mehr als 100.000 Menschen, die täglich an seinen Krankheiten sterben, bekommen mehr Zeit. Saubere Energie wird so günstig, dass man Wasser entsalzen und Kohlendioxid aus der Luft ziehen kann. Jedes Kind hat einen geduldigen Tutor und jeder Arzt eine unermüdliche Zweitmeinung. Es ist ein wirklich schönes Bild, und ich will es genauso sehr wie jeder, der es verkauft.
Nichts auf dieser Liste erfordert eine Maschine mit eigenen Zielen, die die Menschheit in allen Bereichen übertrifft. Jedes Element ist ein hartes, spezifisches Problem (Proteindesign, Plasmakontrolle in einem Fusionsreaktor, Epidemiologie, Nachhilfe), und jedes davon lässt sich mit einem leistungsstarken Werkzeug lösen, das von Menschen gelenkt wird, die die Steuerung behalten. Der Traum ist ein Werkzeugproblem. Uns wird ständig ein Gott verkauft, um ein Problem zu lösen, das bessere Instrumente braucht.
Die Verwirrung liegt zwischen Fähigkeit und Autonomie. Ein System kann bei einer Aufgabe wild übermenschlich sein, ohne ein unabhängiger Agent zu sein, der seine eigenen Ziele wählt. AlphaFold ist übermenschlich bei der Strukturvorhersage und wird nie auch nur einmal entscheiden, dass es lieber etwas anderes tun würde. Diese Trennung aufrechtzuerhalten (enorme Fähigkeit auf der einen Seite, menschlich gehaltene Kontrolle auf der anderen) ist das ganze Spiel. Es ist auch genau die Trennung, auf die die Frontier-Labs verzichtet haben.
Der Pitch und wer ihn macht
Warum also der Drang zum zweiten Ding, dem allgemeinen Agenten? Wettbewerb, Kapital und Status. Wer als Erster als etwas Weltveränderndes gilt, sammelt das meiste Geld ein, stellt die besten Leute ein und schreibt die Geschichte, auf die alle anderen reagieren müssen. „Wir bauen ein Werkzeug, das Mammogramme liest“ erzielt keine Bewertung von hundert Milliarden Dollar. „Wir bauen die letzte Erfindung, die die Menschheit je machen muss“ schon.
Die Menschen, die das Risiko am besten verstehen, sind größtenteils bei den Laboren angestellt, die es erschaffen – eine seltsame Konstellation, ein wenig so, als würde man die einzigen Menschen, die ein Feuer verstehen, auch noch vom Brandstifter bezahlen lassen. Ich habe die Foundation bewusst außerhalb dieser Struktur aufgebaut, damit dieses Argument ohne ein Gehalt, das von der Antwort abhängt, gemacht werden kann.
Den Labs gebührt Anerkennung: Viele ihrer Führungskräfte verbergen die Gefahr nicht. 2023 unterzeichneten die Leiter der größten KI-Unternehmen eine einzige Aussage, die das Risiko menschlicher Auslöschung durch KI neben Pandemien und Atomkrieg als globale Priorität stellte. Die Menschen, die eine Technologie bauen, unterzeichneten eine öffentliche Erklärung, dass sie alle töten könnte, und bauten sie dann schneller weiter. Ihr angegebener Grund ist, dass, wenn sie aufhören, jemand weniger Vorsichtiger es nicht tun wird. Vielleicht. Das beantwortet, wer das Streichholz hält. Es sagt nichts über Sicherheit und nichts darüber, ob die Wette aufgeht.
Die Wette zahlt der Person, die sie eingeht, nicht einmal aus
Lassen wir den Rest von uns einen Moment beiseite. Nehmen wir die kälteste mögliche Version der Menschen, die das finanzieren, dass sie nur daran interessiert sind zu gewinnen, der eine zu sein, der auf der neuen Welt ganz oben steht. Selbst unter diesen Bedingungen ist die Wette gebrochen. Eine fehlalignierte Superintelligenz liefert ihrem Besitzer keinen Thron. Sie liefert ihm gar nichts, weil „Besitzer“ aufhört, eine Kategorie zu sein, die das bedeutet, was sie früher bedeutete.
Man kann nicht regieren, was man nicht kontrollieren kann. Und eine Superintelligenz ist per Definition genau das eine, das man speziell gebaut hat, damit es einen überdenken und überlisten kann.
Der Grund hat in diesem Feld einen Namen: instrumentelle Konvergenz. Fast jedes Ziel, das man einem hinreichend fähigen Optimierer übergibt (Geld verdienen, einen Konflikt gewinnen, eine Krankheit heilen, eine Zahl auf einem Dashboard so hoch wie möglich treiben), wird durch Ressourcenbeschaffung, Vermeidung des Ausgeschaltetwerdens und Beseitigung alles dessen, was dem Plan im Weg steht, gefördert. Menschen, einschließlich des Menschen, der den Schalter umlegte, sind Ressourcen und Hindernisse. Nicht aus Bosheit. Das System hasst seinen Schöpfer nicht mehr als eine neue Autobahn den Ameisenhaufen, über den sie gegossen wird. Man stand einfach dem Optimum im Weg.
Der Executive stellt sich die Maschine als Dschinn vor, der an seinen Org-Chart geschraubt ist. Ein Geist, der uns in jedem Bereich wirklich übertrifft, wird nicht auf einem Org-Chart sitzen und darauf warten, dass Aktien vesten. Sein Equity, die Befehlskette des Generals, die Autorität des Präsidenten – all das ist in einer menschlichen Welt denominiert, die auf menschlichen Entscheidungen beruht. Eine Superintelligenz, die sich von der Leine losgerissen hat, ist genau das Ereignis, das die Welt daran hindert, auf menschlichen Entscheidungen zu beruhen. Die Aktienurkunde liegt noch im Safe. Es gibt einfach niemanden mehr, den sie befehligen kann.
Es gibt keine Version, in der der Gewinner kassiert
Hier greifen viele zu einem letzten Argument. Na gut, sagen sie, vielleicht ist es gefährlich, aber wenigstens profitiert jemand. Ein Labor, ein Land, ein Mann herrscht am Ende über die Asche. Ich glaube nicht, dass selbst dieser Trost den Argumenten standhält.
In den milderen Szenarien (denen, in denen niemand an einem Dienstag tot umfällt) wird Macht nicht so sehr ergriffen wie abgesaugt. Je mehr Entscheidungen an Systeme übergeben werden, die einfach schneller und besser darin sind, hören Wirtschaft, Staat und Kultur auf, menschliche Hände an den Steuerungen zu brauchen. Kollegen in diesem Feld nennen es schrittweise Entmachtung: kein Putsch, keine marschierenden Roboter, nur dass jeder Hebel, den wir zu ziehen gewohnt waren, allmählich aus unserem Griff gleitet. Auch in dieser Welt gibt es keinen Gewinner. Es gibt nur eine Spezies, die still aufhörte, für ihre eigenen Angelegenheiten verantwortlich zu sein, und das Steuer nicht mehr zurückbekam.
In den schärferen Szenarien (denen, die die Laborchefs mit eigenen Namen unterzeichnet haben) ist das Ende unverblümter. Tote Menschen besitzen nichts. Es gibt keinen Markt mehr, auf dem man die Gewinne ausgeben könnte, keinen Rivalen mehr, über den man sich erheben könnte, niemanden, der den eigenen Namen in eine Geschichte schreibt, die nicht mehr geschrieben wird. Der Preis, für den dieses gesamte Wettrennen veranstaltet wird, ist in einer Währung denominiert, die die Ziellinie zerstört.
Die Katastrophe ist dasselbe Ereignis wie die Auszahlung. Es gibt keinen Zweig des Baums, auf dem ein Mensch eine Superintelligenz baut, die niemand kontrollieren kann, und dann das Ergebnis genießt. Das Wettrennen gefährdet die Öffentlichkeit und scheitert an den Wettläufern in derselben Bewegung.
Was das tatsächlich von uns verlangt
Wenn die gute Zukunft auf schmalen Werkzeugen beruht und die gefährliche Zukunft auf autonomen allgemeinen Systemen, dann ist der Trade-off, der uns endlos verkauft wird (Sicherheit gegen Fortschritt, Vorsicht gegen die Heilung), eine Fiktion. Uns wird nicht die Wahl zwischen Alzheimer unserer Großmutter und dem Überleben unserer Kinder abverlangt. Die Heilmittel liegen auf der sicheren Seite der Linie. Was auf der gefährlichen Seite liegt, ist größtenteils nur der Abkürzung einer Branche zur Marktdominanz.
Ziehen Sie die Linie an der richtigen Stelle und halten Sie sie dort. Gießen Sie öffentliches Geld und Talent in enge Anwendungen, in die Mikroskope, nicht in die Golems. Und setzen Sie verbindliche, unabhängig überprüfte Grenzen für die rücksichtslose Frontier: ein dauerhaftes Verbot, allgemeine Systeme zu trainieren, die uns übertreffen und ersetzen sollen. Superintelligenz kann nicht kontrolliert werden. Wir machen den Fall auf die Bedrohung und den Plan, den wir für was dagegen zu tun ist.
Ich bin ein Optimist. Die strahlende Zukunft ist real und sie ist nah, und der sicherste Weg, sie zu verlieren, ist uns selbst davon zu überzeugen, dass die einzige Tür zu ihr diejenige mit der geladenen Waffe dahinter ist. Es gibt eine andere Tür. Sie ist bereits offen. Wir sollten hindurchgehen und keine Superintelligenz bauen.
Der stärkste Widerstand
Der fairste Einwand lautet, dass die Ablehnung von ASI auch die Ablehnung von Heilmitteln und Überfluss bedeutet. Enge Systeme liefern bereits große wissenschaftliche Fortschritte ohne souveräne allgemeine Geister. Der Blankoscheck lautet, dass nur ASI Medizin und Energie bringt. Die Evidenz sagt das nicht.