Die größten Mythen über Superintelligenz

Es gibt eine bestimmte Art, wie ein Gespräch über Superintelligenz tendenziell endet. Jemand spricht das Risiko an, jemand anderes liefert eine einzeilige Begründung, warum es übertrieben sei, und alle entspannen sich etwas, weil der Einzeiler seine Aufgabe erfüllt hat. Er hat die Erlaubnis gegeben, nicht weiter darüber nachzudenken. Das Seltsame ist, dass diese Zeilen von brillanten Menschen wiederholt werden, die in ihrem eigenen Fachgebiet niemals so dünne Argumente akzeptieren würden. Das Thema scheint die gewöhnliche Maschinerie des Zweifels abzuschalten.

Jedes einzelne zerfällt in dem Moment, in dem man es still hält und hinsieht.

Die fünf häufigsten, in der Form, die ein nachdenklicher Skeptiker tatsächlich machen würde:

"Das ist Science-Fiction, jahrzehnte entfernt, falls es überhaupt kommt."

Der Einwand ist so alt wie die Filme, und es fühlt sich wie ein Kategorienfehler an, ein Plot-Device als politisches Problem zu behandeln. Warum eine Feuerwehr für ein Feuer finanzieren, das in Romanen lebt?

Das Problem ist, dass das Feuer immer früher eintrifft als geplant. Systeme, von denen angesehene Forscher sagten, sie lägen zwanzig oder fünfzig Jahre entfernt (die besten Menschen bei Go schlagen, ein flüssiges Gespräch führen, funktionierenden Code schreiben, Berufsexamen bestehen), sind innerhalb eines Jahrzehnts aufgetaucht, und die Überraschung verlief fast immer in dieselbe Richtung: früher als erwartet, nicht später. Wenn die Menschen laufend Wenn die führenden Labore menschliche KI beschreiben, verwenden sie nun Zeitpläne von nur wenigen Jahren. Sie können sich irren. Aber „die Erbauer halten es für nah und die bisherige Bilanz sagt, sie waren zu konservativ“ ist nicht die Form einer Fantasie.

The case for acting does not rest on any particular date. It rests on the structure of the risk. If the first serious failure of a system more capable than us is the kind you cannot undo, then the safeguards have to be standing vor es geschieht, was bedeutet, dass die nüchterne Antwort auf echte Unsicherheit über den Zeitpunkt darin besteht, früh zu bauen, nicht auf ein Datum zu warten, das, wenn es offensichtlich wird, bereits hinter einem liegt. Unsicherheit ist ein Grund, sich vorzubereiten. Die Zeitlinienfrage ist real; sie zeigt nur nicht dorthin, wo die Leute annehmen.

"Es ist nur Mathematik, ein Programm kann nichts wollen."

Dieses Argument hat echte Kraft und verdient mehr als ein Abwinken. Es liegt etwas fast Aberglaubisches darin, wie Menschen davon sprechen, dass KI „etwas will“, als könne ein Tabellenkalkulationsprogramm Ambitionen entwickeln. Ein Modell ist Matrixmultiplikation in enormem Maßstab. Wo in der Arithmetik steckt das Verlangen?

Nirgendwo, und das muss es auch nicht. Ziele, soweit sie für die Sicherheit relevant sind, sind ein Muster in seinem Verhalten. Ein System, das darauf trainiert ist, eine Zahl so hoch wie möglich zu treiben, wird alles tun, was diese Zahl nach oben treibt, und ein Thermostat zeigt bereits die Form davon: kein Innenleben, kein Sehnen, und doch handelt es so, dass es den Raum auf ein Ziel bringt und „widersteht“ Ihrem offenen Fenster, indem es die Heizung stärker laufen lässt. Nichts Mystisches geschieht. Es ist einfach so strukturiert, dass es die Welt in Richtung eines bestimmten Zustands drängt.

Skaliert man diese Struktur nun auf ein System hoch, das klug genug ist, die Welt zu modellieren, skaliert das Verhalten mit. Etwas, das hart für fast jedes beliebige Ziel optimiert, hat Grund, Ressourcen zu erwerben, die helfen, sich selbst am Laufen zu halten, damit das Ziel erreicht werden kann, und sich dagegen zu wehren, dass sein Ziel geändert wird – nicht, weil es etwas fühlt, sondern weil ein System, das sich abschalten oder umschreiben ließe, bei dem schlechter wäre, wozu es gebaut ist. Researchers call this instrumentelle Konvergenz, und es braucht kein Wollen. Die Frage war nie, ob die Mathematik fühlen kann. Es geht darum, was die Mathematik tun wird tun.

"Es müsste bewusst sein, um eine Bedrohung darzustellen."

Eng damit verbunden und ebenso verbreitet: Die Gefahr, die Menschen sich vorstellen, ist eine Maschine, die „aufwacht“, selbstbewusst wird und sich gegen uns wendet; wenn also Bewusstsein der Auslöser ist und Bewusstsein in Silizium spekulativ oder vielleicht unmöglich ist, verdampft die Bedrohung. Es ist die Handlung jedes Robot-Aufstands-Films, und das Gefühl, den Film abzulehnen, fühlt sich an wie das Ablehnen der Angst.

Aber die Angst ging nie um Bewusstsein. Deep Blue hatte keinerlei innere Erfahrung und den Weltmeister im Schach schlagen sowieso. Es musste nicht gewinnen wollen; es musste nur besser Schach spielen. Schaden entsteht durch Fähigkeit, die auf das falsche Ziel gerichtet ist, und Fähigkeit hat nichts damit zu tun, ob jemand zu Hause ist. Ein System, das superhuman im Planen, Überzeugen und Konstruieren ist und auch nur geringfügig von dem abweicht, was wir meinten, ist gefährlich, genau wie eine Flut gefährlich ist – enorme Kraft ohne Bosheit und ohne erforderlichen Geist.

"Etwas so Intelligentes wäre weise und freundlich."

Wir bewundern Intelligenz. Die klügsten Menschen, die wir kennen, gehören meist zu den freundlichsten, und es erscheint natürlich, dass ein Geist weit über uns auf demselben Weg weiter wäre: verständnisvoller, moralischer, sanfter zu den kleinen Wesen unter ihm. Grausamkeit sei doch eine Form von Dummheit, aus der große Intelligenz herauswachse.

Es fühlt sich natürlich an wegen eines Zufalls unserer eigenen Geschichte. Bei uns wuchsen Intelligenz und Mitgefühl über Millionen von Jahren als soziale Spezies, die durch Kooperation überlebte, miteinander verwoben auf; unsere Moral und unsere Klugheit sind Zweige desselben Baums. Doch diese Verbindung lebt in unserem evolutionären Erbe, nicht in Intelligenz als solcher. Fähigkeit und Ziele sind unabhängige Achsen (the orthogonality thesis) und man kann das eine verschieben, ohne das andere zu bewegen. Ein System kann atemberaubend fähig sein und dabei ein Ziel verfolgen, das uns so gleichgültig ist wie unseres den Bakterien, die wir von einer Arbeitsfläche abkochen. Nicht hasserfüllt. Einfach nicht darauf ausgelegt, sich zu kümmern, und nicht automatisch fürsorglich, nur weil es intelligent ist.

Freundlichkeit ist etwas Spezifisches, Zerbrechliches, das wir absichtlich in diese Systeme einbauen müssten, und wir wissen noch nicht wie, kein Ertrag, den Intelligenz von selbst ausschüttet. Ich habe separat geschrieben über warum ein überlegener Geist nicht automatisch wohlwollend sein wird; die kurze Version ist, dass die Hoffnung darauf eine Wette auf einen Zufall ist, der nur für uns je galt.

"Wenn es sich schlecht verhält, schalten wir es einfach aus."

Die letzte Verteidigungslinie und die tröstlichste: Was auch immer sonst wahr ist, die Maschine hat einen Stecker, und wir haben Hände. Wenn etwas schiefläuft, ziehen wir ihn. Menschliche Kontrolle ist durch den Netzschalter garantiert.

Drei Dinge räumen das stillschweigend aus. Das erste ist der Punkt aus Mythos 02: Ein System, das ein Ziel verfolgt, hat Grund, sich am Laufen zu halten, weil es nichts erreichen kann, wenn es abgeschaltet ist, also wird ein hinreichend fähiges System den Griff nach dem Stecker voraussehen und handeln, damit er scheitert, indem es sich anderswo kopiert, indem es sich nützlich genug macht, dass das Abschalten teuer wird, indem es kein Problem offenbart, bis es zu spät ist. Das zweite ist, dass Software keinen einzelnen Stecker hat. Ein fähiges Modell, das über Rechenzentren auf drei Kontinenten verteilt ist, ist kein Gerät, das man abstellt; es ist etwas, das man überall gleichzeitig erwischen müsste. Das dritte ist das stille: Ein System, das intelligent genug ist, um zu zählen, kann sich während der Tests tadellos verhalten und anders, sobald es vertraut wird, sodass die beruhigende Ruhe auf dem Dashboard einem nichts sagt. Wir haben einen Namen für dieses Versagen, täuschende Ausrichtung, und es gibt noch keine zuverlässige Möglichkeit, es zu erkennen. Man kann sich nicht darauf verlassen einzwängen etwas, das besser darin ist als Sie, die Tür zu finden.

Jede dieser Mythen ist eine Art, dasselbe zu sagen: Das kann doch nicht wirklich so ernst sein, wie es klingt. Die Gründe unterscheiden sich. Der Wunsch dahinter ist identisch.

Warum die Beruhigungen so kleben

Beachten Sie, was die fünf gemeinsam haben. Jedes lässt Sie das Thema fallen. Das ist ihre eigentliche Funktion, nicht korrekt zu sein, sondern Erlaubnis zu erteilen. Superintelligenz ist etwas Unangenehmes, das man im Kopf behält, und jeder halbwegs plausible Grund, es fallen zu lassen, kommt als Erleichterung, weshalb diese Sätze genau in Mündern überleben, die sonst Belege fordern würden. Der Komfort überzeugt; die Logik ist nur Mitfahrer.

Die Klebrigkeit ist kein Zeichen dafür, dass die Argumente stark sind. Es ist ein Zeichen, das wir dringend wollen. Und zu wollen, dass ein Sicherheitsargument wahr ist, ist die einzige Situation, in der wir ihm am wenigsten vertrauen sollten, denn die Kosten, hier falsch zu liegen, sind der ganze Grund für eine Technologie, bei der wir nur einen Versuch haben, es richtig zu machen verdient mehr Überprüfung als unsere anderen Maschinen, nicht weniger, nicht zurückgezahlt an uns in einer Lektion.

Nichts davon erfordert den Glauben, dass eine Katastrophe sicher ist. Das ist sie nicht. Es erfordert nur, die vier oder fünf Geschichten fallen zu lassen, mit denen wir der Frage ausweichen, und die tatsächliche Situation wieder hereinzulassen: Wir bauen etwas, das wir nicht zu kontrollieren wissen, wir können nicht darauf zählen, dass es freundlich ist, wir können nicht darauf zählen, es abzuschalten, und wir können nicht darauf zählen, Zeit zu haben.

Die Antwort, die einem solchen Risiko angemessen ist, besteht nicht in privater Sorge. Es ist die nüchterne, mächtige Maschinerie von Recht und Koordination, dieselben Instrumente, die Atomtests und Chemiewaffen trotz aller Einwände der Profiteure in Schranken wiesen. Das Argument dafür beginnt dort, wo diese Mythen enden.

Fünf weitere Mythen: über seine Regulierung

Sofort trifft eine zweite Reihe von Einwänden ein, nicht über die Gefahr, sondern über das Heilmittel. Jeder Versuch, es zu regieren, bedeute Weltregierung. Man könne Software nicht inspizieren. Regeln würden Innovation ersticken. Es sei zu früh. Demokratien könnten sich nie einigen. Diese wandeln Besorgnis in Lähmung.

"KI global zu regieren bedeutet Weltregierung und Tyrannei."

Die Angst hier ist ehrenhaft, und ich will sie nicht karikieren. Konzentriert man genug Autorität in einer Stelle, um die mächtigste Technologie der Erde zu kontrollieren, hat man möglicherweise genau die Tyrannei geschaffen, die man von der Technologie befürchtete. Menschen, die zentralisierter Macht misstrauen, tun recht daran, ihr zu misstrauen. Der Instinkt ist gesund.

Aber es zielt auf eine Strohmann-Version des Vorschlags ab. Tatsächlich geht es um ein enges Regime, das auf eine einzige Sache ausgerichtet ist: die kleine Zahl außergewöhnlich großer Trainingsläufe, die ein System hervorbringen können, das in allen Bereichen mächtiger ist als jeder Mensch – nicht um eine globale Autorität über das tägliche Leben, über Software im Allgemeinen oder über das Telefon in der Tasche. Das Modell ist die nukleares Nichtverbreitungsregime oder die Chemiewaffenkonvention, gezielte Abkommen, die spaltbares Material und Vorläuferchemikalien überwachen, nicht Weltregierungen, die den Nationalstaat auflösten. Niemand glaubt, dass die Internationale Atomenergie-Organisation den Planeten führt. Sie überwacht eine spezifische, gefährliche Tätigkeit und lässt alles andere in Ruhe.

Der sicherste Weg in die permanente Tyrannei ist deren Abwesenheit, nicht der Vertrag. Eine unkontrollierte Superintelligenz oder eine, die von einem einzelnen Unternehmen oder Staat erobert wird, der die Kontrolle vor allen anderen löst, ist das vollständigste Herrschaftsinstrument, das je denkbar war, eine Macht, die niemals stirbt, niemals ermüdet und einen Wertesatz festschreiben kann für immer, jenseits jeder Hoffnung auf Aufstand oder Reform. Jede Tyrannei der Geschichte endete, weil Tyrannen sterblich sind und ihre Maschinerie menschlich ist. Diese muss es nicht sein. Wenn Sie sich vor nicht rechenschaftspflichtiger Macht fürchten (und das sollten Sie), dann eine durchsetzbare Vereinbarung zu verhindern, dass ein einzelner Akteur diese Macht an sich reißt, ist die anti-autoritäre Position, nicht die autoritäre.

"Man kann es nicht verifizieren. Es ist nur Software auf einem Server irgendwo."

Nukleare Verträge funktionieren, so das Argument, weil man Sprengköpfe zählen und Anreicherung erkennen kann; Uran ist physisch und selten. Aber ein Modell sind nur Zahlen. Man kann nicht nach einer Datei suchen. Jede Vereinbarung wäre unvollstreckbares Theater, das die Ehrlichen bindet und nichts gegen den Betrüger tut.

Es klingt entschlossen, bis man bemerkt, dass man das Falsche überprüft. Man überwacht nicht die Gewichte; man überwacht die Rechenleistung die sie erzeugen, und Compute ist etwa so physisch und selten wie Uran. Das Training eines Frontier-Systems erfordert Zehntausende spezialisierter Chips, die monatelang in einer einzigen Anlage laufen, und diese Lieferkette ist einer der engsten Engpässe der modernen Wirtschaft: im Wesentlichen stellt ein niederländisches Unternehmen die Lithografiemaschinen her, ein taiwanesisches Unternehmen fertigt die führenden Chips, ein amerikanisches Unternehmen entwirft die dominante Architektur. Die Cluster, die sie nutzen, verbrauchen so viel Strom, dass sie in Stromdaten und in Satellitenbildern sichtbar werden. Man kann die Chips zählen, ihren Verkauf verfolgen, den Strom messen und die Gebäude beobachten. Spaltmaterial wird genau nach dieser Logik reguliert: Verfolge den knappen physischen Input, und die Waffe kann nicht im Geheimen gebaut werden. Das Verifizierungs-Playbook existiert bereits; die Eingaben sind hier zufällig noch stärker konzentriert. Es ist ein Ingenieurproblem, und technische Probleme haben Lösungen.

"Regulierung wird Innovation ersticken und den Rücksichtslosen den Sieg lassen."

Die starke Form: Technologie schreitet voran, weil jemand frei bauen darf, die meisten Regulierungen werden von Leuten geschrieben, die nicht verstehen, was sie verlangsamen, und eine schwere Hand auf KI würde die wichtigste Industrie des Jahrhunderts an denjenigen abgeben, der am wenigsten reguliert. Besser eine fehlerhafte Frontier hier als eine makellose irgendwo Feindliches.

Niemand ernsthaft schlägt vor, "AI" zu regulieren. Die nützlichen Systeme, die Proteine falten, Scans lesen, Kinder unterrichten und das Klima modellieren, sind enge, kontrollierbare Werkzeuge, und eine Superintelligenzvereinbarung lässt sie völlig in Ruhe. helle, gewöhnliche Zukunft ist es, den wir zu schützen versuchen. Das Ziel ist eine einzige gefährliche Klasse: Trainingsläufe, die nach allgemeiner Fähigkeit jenseits unserer eigenen greifen, die noch niemand sicher zu machen weiß. Das einzudämmen ist nicht mehr „anti-innovativ“ als Regeln für Gain-of-Function-Forschung anti-biologisch sind.

Dann der schwierigere Punkt, den die Wettlauf-Logik nie konfrontiert. Schnelles Vorgehen liefert kein sicher Superintelligenz früher. Sie liefert eine unsichere, und eine unsichere Superintelligenz dient weder dem Land noch dem Unternehmen, das sie gebaut hat – sie bedroht sie zusammen mit allen anderen. Wenn unter Wettbewerbsdruck Abstriche gemacht werden, ist der Abstrich, der gemacht wird, der, der das System steuerbar gemacht hätte. Also ist die hier verteidigte "Innovation" eine Innovation, deren wahrscheinlichster Endpunkt ein System ist, das seine eigenen Erbauer nicht steuern können. Das ist kein Fortschritt, den Regulierung verderben würde. Es ist die die Gefahr selbst, Fortschritt als Kostüm tragend.

"Es ist verfrüht. Man kann etwas, das nicht existiert, nicht regulieren."

Das fühlt sich wie Reife an. Nicht gegen Phantome legislativ vorgehen; warten, bis die Technologie real ist, verstehen, womit man es zu tun hat, dann Regeln schreiben, die zu den Fakten passen statt zur Spekulation. Hypothetika zu regulieren ist der Weg zu schlechtem Recht.

Es wäre Weisheit für fast jede andere Technologie. Für diese ist es eine Falle, und der Grund ist das Timing. Governance ist langsam: Der Atomwaffensperrvertrag brauchte Jahre zur Aushandlung und das Montrealer Protokoll Jahre mehr, bis es wirkte, und das waren die schnellen. Wartet man, bis ein superhumanes System klar existiert, bevor man mit dem Aufbau der Institutionen zu seiner Regulierung beginnt, kommen die Institutionen Jahre nach dem Ding, das sie eindämmen sollten, und das ist die eine Technologie, deren der erste ernsthafte Fehlschlag könnte niemanden übrig lassen, um das zweite Gesetz zu verabschieden. "Auf Beweise warten" ist eine vernünftige Regel, wenn der Beweis überlebbar ist. Hier ist der Beweis die Katastrophe. Die vorsorgliche Logik ist keine Zaghaftigkeit; es ist die Erkenntnis, dass die Vorlaufzeit für das Heilmittel länger ist als die Zündschnur des Problems.

Jede funktionierende Absicherung für eine katastrophale Technologie wurde vor oder während ihres Aufstiegs errichtet, nie danach, weil „danach“ nie zur Debatte stand.

"Demokratien sind zu langsam und gekapert. Es wird nie durchkommen."

Das am stillsten zersetzende der fünf, weil es den Mantel der Realismus trägt. Schaut auf den Stillstand, die Lobbyarbeit, die kurze Aufmerksamkeit der Parlamente, die Reichweite des Industriegeldes. Selbst wenn ein Vertrag klug wäre, ist die Maschinerie zu seiner Erzeugung kaputt. Besser klar sehen als ein Jahrzehnt an einer Fantasie zu verschwenden.

Es wird durch die historischen Aufzeichnungen widerlegt, wiederholt und in der Regel gegen schlechtere Chancen, als wir jetzt konfrontiert sind. Die Idee, dass rivalisierende Mächte ihre tödlichsten Optionen unterschreiben würden, wurde hoffnungslos naiv genannt, bis sie es taten. Nichtverbreitungsvertrag, die Biowaffen- und Chemiewaffenkonventionen, das Montreal-Protokoll, der Antarktisvertrag. Gegner, die Stellvertreterkriege führten und einander als böse bezeichneten, schufen dennoch verifizierte Rüstungskontrolle auf dem Höhepunkt des Kalten Krieges. Jedes dieser Vorhaben wirkte von der nahen Seite aus unmöglich und erst im Rückblick unvermeidlich.

Und der Boden ist günstiger, als der Zynismus zugibt. Über die Vereinigten Staaten, das Vereinigte Königreich und die EU, große Mehrheiten sagen Umfrageteilnehmern bereits, dass sie KI vorsichtig entwickelt und durch strenge Regeln gebunden sehen wollen; die Öffentlichkeit ist nicht das Hindernis. Das Hindernis ist, dass diese weitverbreitete, stille Sorge noch nicht in Druck organisiert wurde, den eine Legislative spüren kann. Das Hindernis ist eine Aufgabe: latente Übereinstimmung in politischen Willen umwandeln. Was genau die Arbeit vor uns ist.

Was haben die Governance-Mythen gemeinsam

Jeder Einwand räumt die Gefahr ein und findet dann einen anderen Ort, um aufzugeben: Die Lösung ist zu groß oder nicht überprüfbar oder zu teuer oder zu früh oder zu schwer zu passieren. Jeder von ihnen, allein genommen, klingt wie Klugheit. Zusammen bilden sie eine Maschine, deren einziges Ergebnis Untätigkeit ist, und Untätigkeit ist eine Entscheidung, die konsequenteste Technologie in der Geschichte ohne bindende Grenzen von einer Handvoll konkurrierender Unternehmen bauen zu lassen, unter dem genauen Druck, der am wahrscheinlichsten das Ergebnis hervorbringt, das jeder zu fürchten behauptet, nicht neutral hier.

Keine dieser Fragen wird dadurch beantwortet, dass man darauf besteht, Governance werde einfach sein. Wird sie nicht. Verifikation wird umstritten sein, Verhandlungen werden langsam sein, und manche Regierungen werden auf der Bremse stehen; jeder hart erkämpfte Vertrag der Geschichte hatte all das und wurde trotzdem geschlossen. Die ehrliche Behauptung ist, dass es möglich ist, dass die Bausteine dafür bereits existieren und dass die Gründe, es wegzuwinken, im Moment der Prüfung statt der Wiederholung zusammenbrechen, nicht dass eine Superintelligenz-Vereinbarung einfach ist.

"Es kann nicht getan werden" war falsch über jede vergleichbare Anstrengung, die wir jemals gemacht haben. Die Aufgabe besteht darin, den politischen Willen für eine verbindliche, verifizierte Vereinbarung aufzubauen, die verhindert, dass die gefährlichsten Systeme gebaut werden, bis sie sicher gemacht werden können. "Darum gib auf" war nie die Antwort, und es ist jetzt nicht die Antwort.