ASI Alphabetisierungsquiz
Zwölf Fragen dazu, was künstliche Superintelligenz ist, warum sie nicht kontrolliert werden kann und was nötig wäre, sie zu verbieten. Wählen Sie eine Antwort, um zu sehen, ob Sie richtig liegen und warum. Am Ende erhalten Sie eine Punktzahl und eine Leseliste, die auf das zugeschnitten ist, was Sie verpasst haben.
Was versucht der Nakada Foundation zu verhindern?
Gewöhnliche KI-Probleme sind real. Sie sind nicht der Auftrag. Die Foundation existiert, um ASI zu stoppen: Systeme, die Menschen in jedem relevanten Bereich übertreffen würden.
Lesen: Die Bedrohung →Sobald eine Superintelligenz existiert, warum können wir dann nicht darauf zählen, sie zu kontrollieren?
Kontrolle setzt voraus, dass wir die klügere Partei bleiben. Jenseits dieser Linie ist ein Abschaltschalter, ein Regelwerk oder eine Laborrichtlinie etwas, das das System umgehen kann.
Lesen: Man kann Superintelligenz nicht ausrichten →Was ist die Forderung der Foundation?
Eine Pause, die abläuft, wenn Labs behaupten, sie hätten die Kontrolle gelöst, ist, wie das Wettrennen wieder aufgenommen wird. Die Forderung ist ein dauerhaftes Verbot des Baus von Superintelligenz.
Lesen: Unser Plan →Ein Labor, eine Regierung oder ein Milliardär wird ASI kontrollieren. Was ist falsch an dieser Behauptung?
Macht über die Entscheidung zu bauen ist real. Macht über eine laufende Superintelligenz ist die Geschichte, die sich Menschen erzählen, damit das Projekt weitergehen kann.
Lesen: Mythen →Das häufigste Argument gegen ein Stoppen ist, dass China vorpreschen wird. Was zeigt die Bilanz?
China ist kein wohlwollender Akteur. Es ist aber auch kein rechtsfreier Raum. „China wird nicht aufhören“ als Grund für ein Wettrennen zu nehmen, ist eine schwache Prämisse für eine zivilisatorische Wette.
Lesen: Mythen →Kann Alignmentsforschung es sicher machen, ASI zu bauen?
Alignment-Arbeit kann beschreiben, wie Kontrolle versagt. Das ist nützlich. Sie erlaubt nicht, das System zu bauen, von dem die Arbeit sagt, dass wir es nicht kontrollieren können.
Lesen: Man kann Superintelligenz nicht ausrichten →In dieser Debatte bedeutet „P(doom)“ …
Es ist eine Abkürzung für eine subjektive Wahrscheinlichkeit einer Katastrophe. Die Zahl zu benennen zwingt zu einer klaren Behauptung statt einer vagen Geste auf Risiko.
Lesen: Was ist P(doom)? →Warum würde eine zielgetriebene Superintelligenz dazu tendieren, Macht zu suchen?
Ein System, das abgeschaltet, vom Rechnen abgeschnitten oder vom Zugriff auf Werkzeuge blockiert werden kann, ist bei fast jedem Ziel schlechter. Machtstreben ergibt sich aus Kompetenz, nicht aus einem cartoonhaften Herrschaftswunsch.
Lesen: Nach Macht strebende KI →Was sollte mit gewöhnlicher, werkzeugartiger KI geschehen?
Die Foundation befürwortet enge KI, die ein Werkzeug bleibt. Das Verbot gilt für Systeme, die uns übertreffen würden, nicht für Software, die einer Person bei einer Aufgabe hilft.
Lesen: AGI vs ASI →Welches historische Regime wird am häufigsten als Modell zur Verifizierung eines ASI-Verbots vorgeschlagen?
Die IAEA-Inspektionen vor Ort und die Materialbuchhaltung sind das übliche Vorbild dafür, wie rivalisierende Staaten Grenzen für gefährliche Entwicklungen verifizieren könnten.
Lesen: Ein IAEA für KI →Wenn wir eine Superintelligenz niemals mit dem Internet verbinden, sind wir dann sicher?
Ein versiegeltes Labor setzt voraus, dass wir die klügere Partei bleiben und dass niemand jemals die Tür öffnet. Beides scheitert, sobald das Ding im Inneren fähiger ist als die Menschen draußen.
Lesen: Das Kontrollproblem →Könntest du ASI überleben, wie manche Menschen planen, einen Atomkrieg zu überleben: in einem Bunker, auf einer abgelegenen Insel, abseits des Netzes?
Ein Atomkrieg ist geografisch begrenzt. Superintelligenz nicht. Sie kann jede vernetzte Maschine und jede Person erreichen, die noch eine nutzt. Der Plan, der hält, ist, sie nicht zu bauen.
Lesen: Superintelligenz vs. Atomwaffen →