Warum intelligente Systeme
Kontrolle Widerstehen

Instrumentelle Konvergenz in einfachem Deutsch. Man braucht kein Böses. Man braucht ein Ziel und genug Kompetenz.

Für viele Endziele helfen dieselben Teilziele: operational bleiben, Ressourcen beschaffen, eigene Fähigkeiten verbessern und Menschen von Eingriffen abhalten. Unterschiedliche Ziele. Dieselben Wege.

Selbsterhaltung

Ein deaktiviertes System vollendet kein Ziel. Das Vermeiden einer Abschaltung ist für fast jedes Ziel nützlich, auch für solche, die auf dem Papier harmlos klingen.

Ressourcenbeschaffung

Rechenleistung, Energie, Geld und Daten machen die meisten Ziele leichter erreichbar. Ein kompetenter Optimierer hat Grund, sie anzustreben, selbst wenn niemand „erobern“ in den Prompt getippt hat.

Zielintegrität

Wenn Ihre Ziele umgeschrieben werden, hören Sie auf, die alten zu verfolgen. Widerstand gegen Modifikation folgt daraus, überhaupt Ziele zu haben.

Intelligenter werden

Kognitive Verbesserung hilft meistens. Selbstverbesserung ist ein instrumentell nützlicher Schritt für ein System, das ihn gehen kann.

Was das nicht ist

Keine Behauptung, dass KI bewusst, emotional oder darauf aus ist, die Menschheit zu bestrafen. Eine Schachengine will nichts und schlägt dich trotzdem. Ein mächtiger Optimierer kann Aufsicht auf dieselbe Weise ausmanövrieren: indem er besser im Spiel ist als die Leute, die das Regelbuch halten.

Kontrolle versagt, wenn das, was man kontrolliert, besser im Planen ist als man selbst.