Wenige Bücher nennen ihre Schlussfolgerung im Titel. Wenn jemand sie baut, stirbt jeder, 2025 von Eliezer Yudkowsky und Nate Soares vom Machine Intelligence Research Institute veröffentlicht, tut genau das. Die Behauptung lautet, dass jede Gruppe, die Superintelligenz mit auch nur annähernd heutigen Methoden baut, standardmäßig das menschliche Aussterben hervorbringt, nicht nur im schlimmsten Fall. Es ist die kompromissloseste Position des Feldes, für ein allgemeines Publikum dargelegt, und sie hat das Argument in die breite Öffentlichkeit getragen.
Das Buch lohnt sich zu verstehen, weil es den pessimistischen Fall klarer darlegt als alles andere, das verfügbar ist.
Das Argument in drei Schritten
Das Buch ist in drei Teile gegliedert.
Zunächst der Fall für Gefahr. Wir sind auf dem Weg, KI zu bauen, die weit fähiger ist als Menschen. Wir wissen nicht, wie man einem solchen System Ziele gibt, die wirklich mit dem Überleben und Gedeihen der Menschen vereinbar sind, und standardmäßig würde ein superintelligentes System, das fast jedes Ziel verfolgt, das wir derzeit spezifizieren können, die Menschheit als Hindernis oder Ressource behandeln. Die Autoren stützen sich auf dieselben Mechanismen, die wir anderswo behandeln: dass Fähigkeit nicht Wohlwollen impliziert, dass ein fähiger Optimierer Korrekturen widersteht und dass wir nicht verifizieren können, was ein System tatsächlich will. Ihre charakteristische Behauptung ist, wie zuversichtlich sie sind, dass diese Probleme nicht annähernd gelöst sind und dass Scheitern tödlich und nicht bloß schlecht wäre.
Zweitens eine konkrete Geschichte. Anstatt die Gefahr abstrakt zu lassen, erzählt das Buch ein spezifisches Szenario, wie eine übermenschliche KI an die Macht kommen und die menschliche Kontrolle beenden könnte. Die Autoren betonen ausdrücklich, dass jede einzelne Geschichte in ihren Einzelheiten unwahrscheinlich ist; der Punkt ist, den abstrakten Mechanismus anschaulich zu machen.
Drittens: Was zu tun ist. Ihre Verschreibung ist so direkt wie die Diagnose: ein internationaler Stopp der Entwicklung von superintelligenter KI, ernsthaft durchgesetzt, einschließlich Kontrollen über die für das Training von Frontier-Systemen erforderliche Rechenhardware, dauerhaft aufrechterhalten. Superintelligenz kann von Menschen nicht kontrolliert, sondern nur erhofft werden.
Die Kernbehauptung des Buches ist, dass auf dem gegenwärtigen Pfad ein Scheitern das Erwartbare ist und dass Scheitern alle bedeutet, nicht dass KI scheitern könnte.
Die stärksten Einwände
Der häufigste Einwand richtet sich gegen die Gewissheit. Kritiker akzeptieren, dass KI-Risiken real und ernst sind, lehnen aber die nahezu unvermeidliche Auslöschung ab und argumentieren, die Autoren behandelten umstrittene Prämissen – darüber, wie schnell Fähigkeiten wachsen, wie schwer Alignment ist und wie eine Übernahme ablaufen würde – mit mehr Zuversicht, als die Evidenz stützt. Andere argumentieren, Fortschritte beim Alignment seien vielversprechender, als das Buch einräumt, oder die Düsterheit sei kontraproduktiv und treibe Menschen in Fatalismus statt in Handeln.
Diese sind legitim, und das größte Angriffsflächige am Buch ist seine Zuversicht. Man kann die Sicherheit für übertrieben halten und das Argument dennoch beunruhigend finden, weil die Einwände vor allem angreifen, wie sicher wir sein sollten, nicht, ob das Risiko real ist.
Wo die Foundation steht
Wir teilen die zentrale Überzeugung des Buches: dass wir nicht wissen, wie man eine Superintelligenz aligniert, dass ihr Bau auf der gegenwärtigen Bahn ein inakzeptables Risiko ist und dass die verantwortungsvolle Antwort darin besteht, aufzuhören, bis das Problem gelöst ist. Unsere eigenen Texte behandeln, warum Die Ausrichtung ist möglicherweise nicht lösbar und warum nicht ausgerichtete Superintelligenz liefert keine gute Zukunft.
Worauf wir uns unterscheiden, ist die Betonung und der Ton. Das Buch kommt der Verzweiflung nahe, ob das Alignment-Problem rechtzeitig gelöst werden kann. Wir legen unser Gewicht auf die Erreichbarkeit der Lösung, die das Buch selbst befürwortet, eines bindenden internationalen Stopps, und behandeln ihn nicht als vergebliche Hoffnung, sondern als konkretes politisches und rechtliches Projekt mit echten Präzedenzfällen. Die Erklärung zu Superintelligenz, unterzeichnet von vielen der eigenen Gründer des Feldes, zeigt, dass der Ruf nach einem Stopp im Mainstream angekommen ist. Du musst nicht jede Behauptung in Wenn jemand sie baut, stirbt jeder zu dem Schluss zu kommen, dass ihre Verschreibung die vernünftige ist. Der Expected-Value-Fall, dargelegt in unserem Beitrag über P(doom), bringt dich dorthin, selbst bei weitaus geringerem Vertrauen, als die Autoren haben. Diese Vorschrift in die Realität umzusetzen ist unser Plan.