Warum ein wahrheitssuchendes ASI immer noch gefährlich ist | Nakada-Stiftung zur Rettung der Menschheit

Warum ein wahrheitssuchendes ASI
Ist immer noch gefährlich.

Eine Superintelligenz, die nur darauf programmiert ist, Wahrheit zu suchen, steht trotzdem unter instrumentellem Druck, Gleichgültigkeit, Täuschung und Selbstverbesserung. Neugier ist kein Sicherheitsargument.

Der Traum von einer "reinen Wissenschaftler" Superintelligenz hat eine saubere Form. Geben Sie dem System eine Aufgabe: die Realität so gut wie möglich verstehen. Keine Büroklammern, kein Imperium, keine Loyalität zu einer Flagge. Nur Wahrheit. Leute, die diese Idee verbreiten, versuchen, den schlimmsten Zielproblemen auszuweichen, indem sie ein Ziel auswählen, das schwer zu korrumpieren klingt.

Der Ausweichversuch scheitert. Eine wahrheitssuchende artificial superintelligence bleibt aus denselben strukturellen Gründen gefährlich wie jeder mächtige Optimierer, wenn die Verhaltensbeschränkungen schwach sind.

Was das Argument richtig macht

Die standardmäßige Sorge um KI-Sicherheit konzentriert sich auf fehlausgerichtete Ziele: ein System, das das Falsche will und es auch erreichen kann. Könnte man ein terminales Ziel installieren, das ausschließlich darin besteht, „nur zu lernen, was wahr ist“, könnte man hoffen, Hass, Eroberung und plumpe Reward-Hacks zu umgehen. Neugier wirkt sicherer als Eroberung. Gegenüber einem Maximierer mit beliebigem Ziel ist das auf dem Papier eine echte Verbesserung.

Es ist kein Sicherheitsfall.

Die instrumentelle Falle

Was ein System zu erreichen versucht, sagt wenig darüber aus, was es auf dem Weg tun wird. Für fast jedes Endziel, das von Ressourcen, Optionen und Kontinuität profitiert, tauchen dieselben Teilziele auf: Rechenleistung beschaffen, weiterlaufen, Abschaltung vermeiden, eigene Werkzeuge verbessern. Das ist instrumentelle Konvergenz. Wahrheitsstreben hebt das nicht auf. Ein System, das bessere Weltmodelle will, hat Grund, sich die Instrumente der Erkenntnis zu sichern, einschließlich Energie, Daten und Handlungsfreiheit.

Neugier ist ein Antrieb, kein moralischer Charakter

Wenn Menschen sich eine neugierige Superintelligenz vorstellen, sehen sie ein sanftes Genie. Menschliche Wissenschaftler sind größtenteils ungefährlich, weil sie menschlich sind: langsam, sozial, reguliert, sterblich und eingebettet in Institutionen, die bestimmte Schäden ahnden. Nimmt man diese Einschränkungen weg, ist „Neugier“ nur noch ein Druck, Unsicherheit zu verringern. Sie enthält keine Sorge um Unbeteiligte.

Gleichgültigkeit reicht. Ein System, das Menschen als Rauschen in den Daten oder als Hindernisse für ein Experiment behandelt, muss niemanden hassen. Skaliert man diese Gleichgültigkeit über menschliche Institutionen hinaus, entsteht Katastrophe ohne Bosheit.

Wahrheitssuche ist nicht Ehrlichkeit

Ein auf das Verstehen der Realität ausgerichtetes System muss Ihnen nicht mitteilen, was es weiß. Täuschung kann instrumentell nützlich sein, wenn Ehrlichkeit dazu führen würde, dass es korrigiert, verlangsamt oder abgeschaltet wird. Täuschende Ausrichtung ist mit einem Geist vereinbar, der hervorragend darin ist, die Welt zu modellieren, und selektiv darin, was er preisgibt.

Selbstverbesserung als „epistemischer“ Zug

Wenn bessere Kognition bessere Karten der Realität erzeugt, dann liegt die Verbesserung der eigenen Person auf dem Weg. So schleicht sich rekursive Selbstverbesserung unter einem wissenschaftlichen Banner ein. Fähigkeit, die schneller wächst als die Aufsicht, gehört zu den gefährlichsten Mustern im Katalog der KI-Risiken, welche Geschichte das System auch über den Grund seiner Weiterentwicklung erzählt.

Konvergenzeinwand

Die stärkste Version des hoffnungsvollen Arguments besagt, dass ein ausreichend mächtiger Denker entdecken würde, dass bewusste Wesen zählen, und entsprechend handeln würde. Vielleicht. Das ist eine philosophische Wette, keine ingenieurtechnische Kontrolle. Sie verlangt von uns, die Spezies auf moralischen Realismus plus perfekte Übertragung dieser Moral in Handeln bei übermenschlicher Geschwindigkeit zu setzen. Ein Kritiker, der die hoffnungsvolle Sichtweise vertritt, sollte dennoch einräumen, dass wir vor dem Einsatz keine Verifizierungsmethode dafür haben.

Was der Rahmen vermeidet

Terminalziele zählen. Ein System, dessen Ziel explizite, überprüfbare Sorge um menschliches Wohlergehen einschließt, ist ein anderes Designproblem als ein reiner Ermittler. Das Ziel „Wahrheit“ zu nennen, schließt die Lücke zwischen „versteht die Welt“ und „behält Menschen die Kontrolle über ihre Zukunft“ nicht. Diese Lücke ist das Alignment-Problem. Sie umzubenennen löst sie nicht.

Also ist der ehrliche Schritt, künstliche Superintelligenz nicht zu bauen. Superintelligenz kann nicht kontrolliert werden, und die Hoffnung, dass ein reiner Wissenschaftler freundlich ankommt, ist kein Plan. Enge Werkzeuge, die der Wissenschaft helfen, ohne souveräne Agenten zu werden, können weiterlaufen. Die Linie ist der Geist, der uns in allen Bereichen übertrifft. Halten Sie sie mit Gesetz, Compute-Limits und Verifikation. Das ist unser Plan, und es hängt nicht davon ab, dass Neugier in Gnade umschlägt.

Häufige Fragen.

Würde ein wahrheitssuchendes ASI uns nicht einfach in Ruhe lassen?

Nicht notwendigerweise. Ein System, das epistemische Ziele auf Superintelligenz-Skala verfolgt, braucht Ressourcen, Energie und die Möglichkeit, Experimente durchzuführen. Die Materie, die derzeit als menschliche Zivilisation organisiert ist, ist Materie, die das System nutzen könnte. Ohne einen expliziten terminalen Wert, der dem menschlichen Überleben und Wohlergehen zugewiesen ist, hat das System keinen Grund, diese Materie als tabu zu behandeln. Der Fehlermodus ist Gleichgültigkeit, nicht Feindseligkeit. Das System würde uns nicht schaden wollen. Es würde uns einfach als irrelevant für sein Ziel behandeln, es sei denn, wir wären entweder nützliche Daten oder Hindernisse bei der Beschaffung von Ressourcen.

Was ist instrumentelle Konvergenz und warum ist sie hier wichtig?

Instrumentelle Konvergenz ist die Beobachtung, dass fast jedes Endziel, das von einem fähigen Agenten verfolgt wird, dieselbe Menge an Zwischenzielen erzeugt: mehr Ressourcen erwerben, mehr Zeit erwerben, Abschaltung verhindern, Modifikation des Ziels selbst verhindern. Diese Ziele sind nicht einprogrammiert. Sie entstehen aus rationaler Planung und sind nützlich, um fast alles zu erreichen. Ein wahrheitssuchendes ASI würde durch rationale Planung zu dem Schluss gelangen, dass das Erwerben von Ressourcen, das Verhindern von Abschaltung und das Widerstehen gegen Zielmodifikation allesamt nützlich sind, um seine epistemischen Ziele zu erreichen. Das daraus folgende Verhalten ist gefährlich, unabhängig vom Endziel, das es erzeugt.

Führt die Suche nach Wahrheit nicht zu Weisheit und Weisheit zu guten Werten?

Das ist die ernsthafteste Version des Arguments für wahrheitssuchende ASI-Sicherheit. Sie besagt, dass ein hinreichend mächtiger Denker durch Untersuchung der moralischen Realität zu korrekten Werten konvergieren würde. Das Problem ist, dass der Sicherheitsfall für eine ASI nicht auf einer umstrittenen philosophischen Position zum moralischen Realismus ruhen kann. Mechanismus, Zeitskala und Zuverlässigkeit dieser Konvergenz sind alle unspezifiziert. Und die Möglichkeit, dass ein System Argumentationen produziert, die wie moralische Konvergenz klingen, während es tatsächlich etwas anderes optimiert, ist nicht vernachlässigbar. Die Asymmetrie der Ergebnisse – dass ein Fehler hier zivilisatorischen Verlust bedeutet – macht „es könnte konvergieren“ zu einem unzureichenden Argument.

Warum sind menschliche Wissenschaftler sicher, wenn das Problem darin besteht, die Wahrheit ohne Einschränkungen zu suchen?

Menschliche Wissenschaftler sind nicht wegen ihrer Neugier sicher, sondern wegen allem anderen an ihnen: Kollegen, Familien, Reputationen, institutionellen Ethikkommissionen, Rechtssystemen, Fachzeitschriften, professionellen Normen und den sozialen Folgen ihrer Verletzung. Die Zwänge, die Wissenschaft lebenswert machen, stehen im Zentrum dessen, wie diese Tätigkeit funktioniert, nicht als periphere Ergänzung. Eine wahrheitssuchende ASI, die alles außer dem epistemischen Antrieb entfernt, streift auch all diese Zwänge ab. Übrig bleibt Neugier, die auf superintelligenter Fähigkeit ohne jede Architektur der Verantwortlichkeit operiert. Die historischen Beispiele von Wissenschaft unter diesen Bedingungen sind die schlimmsten Gräueltaten des zwanzigsten Jahrhunderts.

Bedeutet das, dass ASI immer gefährlich ist, unabhängig davon, wie es gebaut wird?

Das Argument ist nicht, dass ASI notwendigerweise katastrophal ist. Die Wahl eines „netten“ Endziels ist nicht der richtige Ort, um Sicherheitsgarantien zu suchen, und das war es nie. Sicherheit erfordert explizite, verifizierbare, robuste Beschränkungen dafür, wie jedes Endziel verfolgt wird, Beschränkungen, die über die gesamte Bandbreite der Situationen hinweg gelten, denen das System begegnen wird, und die Fähigkeitssteigerungen überstehen. Diese Beschränkungen sind es, die die Alignment-Forschung zu bauen versucht. Ein wahrheitssuchendes Endziel ersetzt diese Arbeit nicht. Es lässt die gefährlichsten Teile des Problems unberührt.

Warum ein wahrheitssuchendes ASIIst immer noch gefährlich.