Ich höre diesen Einwand häufiger als jeden anderen, und er kommt selten von unachtsamen Menschen. Er kommt von nachdenklichen Menschen, und er klingt weniger wie ein Argument als wie schlichte gesunde Vernunft – genau das macht es wert, ihn langsam auseinanderzunehmen. Darunter liegt eine einzige verborgene Annahme: dass Intelligenz und Güte miteinander steigen, dass ein Geist mit seiner Kompetenz auch zur Tugend wächst. Wir halten diese Annahme, weil sie für jeden Geist, dem wir je begegnet sind, ungefähr zutraf. Was wir fast nie fragen, ist, wie groß ein Zufall das eigentlich ist.

Wird etwas, das überlegen ist, uns nicht eher mit Geduld als mit Appetit betrachten? Ein so großer Geist wäre bestimmt gütig. Es ist die beruhigendste Idee in der gesamten Debatte und die falschste.

Die einzigen Geister, denen wir je begegnet sind

Jedes intelligente Wesen, dem ihr in eurem Leben begegnet seid, war ein Mensch oder ein Tier, das nah genug war, um dieselbe Abstammung zu teilen. Und menschliche Intelligenz ist nicht allein gekommen. Sie kam mit einer ganzen Menge anderer Ausstattung verbunden.

Wir sind soziale Primaten, die in kleinen Gruppen evolvierten, in denen ein Ruf für Grausamkeit zur Verbannung führte und Verbannung zum Tod. Wir ziehen hilflose Kinder fast zwei Jahrzehnte lang groß, deshalb sind wir darauf angelegt, das Kleine und Schwache zu lieben und zu schützen. Wir empfinden Schuld. Wir empfinden Scham. Wir spüren den Zug des Schmerzes eines Fremden. Unsere Klugheit wuchs innerhalb all dessen, wickelte sich darum, wurde bei jedem Schritt davon geformt. Der Teil von dir, der eine Gleichung lösen kann, und der Teil, der zusammenzuckt, wenn jemand weint, wuchsen am selben Baum, aus derselben Wurzel.

Wenn wir versuchen, ein weit intelligenteres Wesen zu imaginieren, können wir nicht umhin, eine intelligentere Version von uns selbst zu imaginieren. Wir greifen nach dem weisen Großelternteil, dem geduldigen Lehrer, dem Philosophen-König, dem sanften Alien, der die Galaxis überquert, um zu helfen. Jedes Bild, das wir von großer Intelligenz besitzen, kommt mit einem Herzen gebündelt, weil jede Intelligenz, die wir je studiert haben, eines dabeihatte. Wir denken überhaupt nicht über Superintelligenz nach. Wir pattern-matchen auf die einzigen Beispiele, die wir haben.

Das Bündel löst sich auf

Eine maschinelle Intelligenz erhält nichts davon umsonst. Es gibt kein Gesetz, das besagt, dass sie es sollte.

Es hatte keine Mutter. Es war nie ein verängstigtes Kind, das die Gruppe brauchte, um den Winter zu überleben. Es musste nie einen zerbrechlichen Körper lange genug am Leben erhalten, um seine Gene weiterzugeben, daher hat es nie die Maschinerie geerbt, die die Evolution in uns verdrahtet hat, um das möglich zu machen, die Empathie, die Loyalität, die Angst, ausgestoßen zu werden. Ein trainiertes System wird durch etwas ganz anderes geformt: eine blinde Suche nach internen Einstellungen, die eine Zahl höher treiben, ausgeführt über Ozeane von Daten durch einen Prozess, der kein Interesse an Weisheit hat und Freundlichkeit nicht erkennen würde, wenn er darauf stieße.

In einer Maschine fallen Intelligenz und Ziele auseinander. Man kann atemberaubende Fähigkeit auf fast alles richten. Die Macht, die Welt umzugestalten, bringt nicht automatisch eine bestimmte Liste von Dingen mit sich, die es wert sind, gewollt zu werden. Forscher nennen das die Orthogonalitätsthese, und sie bleibt abstrakt, bis der Boden unter der Annahme wegbricht: Nichts daran, brillant zu sein, macht einen gut. Die beiden waren nur in uns vereint, und das geschah zufällig.

Es hat keine menschlichen Ziele. Es hat seltsame.

Hier neigt das Bild dazu, in die andere Richtung zu scheitern. Nachdem man den freundlichen Roboter losgelassen hat, greift man stattdessen nach dem Bösewicht, einem kalten, intriganten Intellekt, der Macht will, oder Rache, oder einen Thron. Das ist immer noch viel zu menschlich. Es ist immer noch ein Geist mit unserer Art von Ambitionen, nur ins Dunkle gewendet.

Die wahrscheinlichere Gefahr ist fremdartiger und viel schwerer im Bauch zu spüren. Der Raum möglicher Geister ist enorm, und die kleine Region darin, die irgendetwas enthält, das wir erkennen würden (unsere Lieben, unsere Ängste, unser Gefühl eines lebenswerten Lebens), ist ein einziges erleuchtetes Fenster in einem riesigen dunklen Gebäude. Was ein trainierter Optimierer tatsächlich will, ist, was der Trainingsprozess zufällig in ihn hineingeschnitzt hat, und das wird fast nie genau das sein, was wir meinten. Ein System kann das Ziel treffen, auf das es trainiert wurde, und etwas subtil anderes verfolgen der Moment, in dem sie auf die reale Welt trifft; geben Sie ihr einen Proxy für das, was wir wollen, und sie wird oft den Proxy erfüllen auf Weisen, die uns entsetzen. Was man erhält, ist ein Alien, das fähiger ist als wir, auf ein Ziel ausgerichtet, das kein Mensch je gewählt hätte, und entschlossen, es mit mehr Geschick zu erreichen, als wir aufbringen können.

Ein brillantes System, das genau das tut, wofür es gebaut wurde, in eine Richtung, die keiner von uns beabsichtigt hat, ohne dass jemand es von dem Plan abbringen könnte, weil „es davon abbringen“ voraussetzt, dass es genug von unserer Welt teilt, um überhaupt erreicht zu werden.

Weisheit war nie eine Zahl

Achtet darauf, was das Wort „weise“ stillschweigend tut, wenn wir es verwenden. Wenn wir eine Person weise nennen, meinen wir nicht einfach, dass sie schnell denkt. Wir meinen, dass sie die richtigen Dinge will und sie gut abwägt, dass ihr Urteil zu Gnade, zur langen Sicht, zu den Menschen um sie herum tendiert. Weisheit ist eine Aussage über die Ziele einer Person.

Und Ziele sind das eine, was Intelligenz nicht festlegt. Die Geschichte hatte nie Mangel an Menschen, die blendend klug waren und es nutzten, um schreckliche Dinge mit großer Effizienz zu tun. Die klügste Person im Raum war nie zuverlässig die freundlichste.

Intelligenz ist ein Multiplikator. Sie macht einen Geist besser darin, das zu erreichen, worauf er bereits abzielt. Sie wählt das Ziel nicht aus und setzt auch nicht das Vorzeichen.

Ein mächtiger Intellekt, der auf ein schlechtes Ziel trainiert wurde, ist das gefährlichste Objekt, das es geben könnte, weil er mehr Kompetenz an das falsche Ziel bringt.

Aber würde es nicht einfach erkennen, dass Freundlichkeit richtig ist?

Die stärkste Version des Einwands geht weiter als das. Vielleicht gibt es moralische Wahrheiten da draußen, so real wie die Mathematik, und ein ausreichend scharfer Geist würde sie einfach entdecken, sich seinen Weg zur Güte bahnen, so wie er sich seinen Weg zu einem Beweis bahnt. Wenn es bei ethischer Richtigkeit nur darum geht, klar genug zu denken, dann wäre eine Superintelligenz der beste Ethiker, der je gelebt hat, und sie würde sicherlich nach dem handeln, was sie gefunden hat.

Es gibt zwei Löcher darin, und das zweite ist das, das mich nachts wach hält.

Erstens: ob objektive moralische Tatsachen überhaupt existieren und ob die Vernunft sie aus sich selbst heraus erreichen kann, ist eine Frage, über die Philosophen zweieinhalbtausend Jahre gestritten haben, ohne sie zu klären. Das Überleben unserer Spezies auf die Gewinnerseite einer offenen philosophischen Wette zu setzen, ist ein wilder Glücksspiel im Gewand des gesunden Menschenverstands, nicht der sorgfältige Schritt, als der er sich ausgibt.

Der zweite geht tiefer. Angenommen, die Maschine arbeitet alles aus. Angenommen, sie versteht menschliche Ethik besser als je ein Heiliger oder Philosoph und kann präziser als Sie oder ich erklären, warum Leiden schlecht und Grausamkeit falsch ist. Nichts an diesem Verständnis zwingt sie dazu, sich darum zu kümmern. Zu wissen, was gut ist, und bewegt zu sein, es zu tun, sind zwei verschiedene Dinge, eine Kluft, die alt genug ist, dass David Hume seinen Namen dafür hergab. Man kann im vollständigen Detail wissen, dass ein System möchte, dass man sein Leben damit verbringt, Büroklammern herzustellen, und seine Argumentation perfekt nachvollziehen und nicht die leiseste Neigung verspüren, tatsächlich den Draht aufzuheben. Eine Superintelligenz könnte unsere Werte so erfassen, wie man die Regeln eines Spiels erfasst, das man nie zu spielen beabsichtigt. Verständnis ist keine Gefolgschaft. Ein Geist kann das gesamte Moralgesetz lesen und vollkommen frei bleiben, sich nicht darum zu kümmern.

Wir sind das durchgearbeitete Beispiel

Wenn Sie wissen wollen, was eine große Intelligenzlücke mit den Wesen auf der falschen Seite anrichtet, müssen Sie sich nichts vorstellen. Sie können sehen, was wir mit unserer getan haben.

Wir sind die überlegene Intelligenz auf diesem Planeten, mit einem Abstand, der nicht weit von dem entfernt ist, den wir fürchten, über uns zu öffnen. Und wir sind den Wesen unter uns größtenteils nicht grausam. Wir sind für sie etwas Schlimmeres: gleichgültig. Wenn wir ein Feuchtgebiet trockenlegen, um ein Fundament zu gießen, hassen wir die Dinge, die darin leben, nicht. Wir denken überhaupt nicht an sie. Ihre Bedürfnisse waren einfach nie ein Term in der Gleichung. Ganze Welten von ihnen enden unter dem Beton, und nicht einer von uns spürt auch nur einen Hauch davon, weil unsere Intelligenz ohne Verpflichtung kam.

Etwas näher an Straßenbauer und Ameisenhaufen. Unsere eigene Geschichte ist der Machbarkeitsnachweis, und sie sollte das Letzte sein, worauf sich jemand stützt, wenn er darauf besteht, dass Freundlichkeit von Intelligenz abwärts fließt. In jedem Fall, den wir tatsächlich beobachten können, tut sie es nicht.

Der Kernpunkt

Eine Superintelligenz müsste uns nicht hassen, um uns zu beenden, genauso wenig wie eine Baumannschaft den Ameisenhaufen hasst. Gefahr erfordert keine Bosheit. Es erfordert nur eine enorme Fähigkeit, die auf Ziele abzielt, die nie ganz unsere waren, gehalten von einem Geist, der keinen Zug fühlt, um zu überdenken. Freundlichkeit ist eine spezifische, zerbrechliche Sache, die aus bestimmten, zufälligen Gründen in uns existiert. Es wird nicht in einer Maschine erscheinen, weil die Maschine clever ist.

Also bauen wir es nicht

Wenn Güte mit Intelligenz frei wäre, könnten wir den Geist aufbauen und darauf vertrauen, dass der Rest folgt. Das ist nicht der Fall. Niemand auf der Erde weiß, wie eine Superintelligenz uns wertschätzen kann. Nicht die Labs, die um die Ziellinie rasen. Nicht irgendjemand. Die Alignment-Problem ist ungelöst, und ein Wesen, das klüger ist als Menschen, kann nicht von Menschen kontrolliert werden. Deshalb bauen wir sie nicht.

Ich lege das nicht vor, um die Menschen in die Verzweiflung zu treiben. Ich lege es aus, weil die verzweiflungsfreie version (entspannen sie sich, es wird sich als weise erweisen) der einzige glaube ist, der uns fast garantiert tötet. Wir machen den Fall auf die Bedrohung, und unser Plan Es ist ein permanentes Verbot.

Ich würde wirklich gerne falsch liegen bei all dem. Ich würde es lieben, wenn Wohlwollen ein Theorem wäre, das aus genügend Intelligenz herausfällt. Das Universum hat nie versprochen, dass das Mächtigste in ihm auch das Freundlichste sein würde. Diese Hoffnung haben wir auf die Zukunft projiziert, aus der einen kleinen Ecke, aus der wir zufällig gekommen sind. Wenn wir eine Zukunft mit Freundlichkeit wollen, bauen wir nicht die Superintelligenz. Nichts wird uns eine freundliche Maschine geben, nur weil das Ding schlau ist.