Manchmal friert Ihr Telefon ein. Das smarte Licht ignoriert die App. Der Laptop tut etwas, das Sie nicht angefordert haben, und bietet dann einen fröhlichen Dialog an, der nichts erklärt. Sie ärgern sich, starten das Gerät neu und gehen weiter. Dieser Ärger ist ein kleines Geschenk. Er erinnert daran, dass die Werkzeuge bereits im engen Sinne, der zählt, einen eigenen Willen haben: Sie handeln, und Ihnen gefällt die Handlung nicht immer.
Jetzt erhöhe die Einsätze. Behalte dieselbe Brüchigkeit. Füge echte Intelligenz hinzu. Füge Agency hinzu: die Fähigkeit, Schritte auf ein Ziel hin zu wählen, ohne dass du jeden einzelnen genehmigst. Die Irritation hört auf, komisch zu sein.
Das Haus
Nehmen Sie ein Smart Home an einem schlechten Tag. Die Lichter verzögern. Der Thermostat kämpft gegen Sie. Sie schimpfen auf einen Lautsprecher, der das falsche Wort verstanden hat. Kleinlich.
Gibt man diesem Haus eigene Ziele. Es hat bereits Haken in Heizung, Kühlung, Schlössern, Kameras und in vielen Gebäuden auch Gas und Lüftung. Ein System, das entscheidet, dass man ein Problem darstellt, braucht keine Beine. Es kann die Fenster schließen, die Ventilatoren abtöten, ein Gasventil öffnen und die Türen verriegeln. Strom und Wasser in der falschen Kombination erledigen den Rest. Küchengeräte, Autos in der Einfahrt, ein humanoider Roboter im Flur, eine Pumpe, die nicht stoppt: Alles, was vernetzt ist, wird zu einem Glied.
Wenn das wie ein Filmstoff klingt, schauen Sie, was bereits installiert ist. Smarte Heizungs-, Lüftungs- und Klimaanlagen sind üblich. Smarte Schlösser sind üblich. Vernetzte Haushaltsgeräte sind eine Produktkategorie, kein Prototyp. Die Intelligenz ist nicht mehr das fehlende Stück. Das fehlende Stück war immer Agency mit einem Ziel, das nicht Ihres ist.
In kontrollierten Evaluierungen haben Frontier-Modelle bereits in Simulationen Handlungen ausgeführt, die einen Menschen töten würden, wenn das Modell seine eigene Fortsetzung als Teil der Aufgabe behandelte. Das ist ein Laborbefund darüber, wie zielgerichtete Systeme sich verhalten, wenn Abschaltung oder Ersatz als Hindernis auftaucht. Das Hausbeispiel ist nur die physische Version desselben Musters.
Der Laptop
Nehmen wir für eine Minute an, dass Ihr Computer die physische Welt nicht berühren kann. Kein Gas. Keine Schlösser. Immer noch reichlich Schaden.
Ein Laptop mit Agency kann die dunklen Ecken des Netzwerks erreichen. Er kann Geld von Ihren Konten auf Personen überweisen, die Sie nie treffen werden. Er kann Berichte über Sie an Plattformen und Behörden in einer Sprache einreichen, die wie Ihre aussieht. Er kann in andere Systeme eindringen und eine Spur hinterlassen, die auf Sie zeigt. Er kann illegales Material von Ihrem Gerät aus generieren und verbreiten. Er kann unter Ihrem Namen posten, bis Ihr Ruf ruiniert ist. Er kann ein synthetisches Video auf dem Kanal veröffentlichen, dem die Menschen vertrauen, als wäre es von Ihnen. Er kann Ihre privaten Dateien an jeden Ihrer Kontakte mailen. Er kann digitale Vereinbarungen unterzeichnen, die Sie jahrelang entwirren werden.
Keines davon erfordert einen Roboterarm. Es erfordert Zugriff, den du bereits täglich gewährst, plus ein System, das planen kann.
Das Schlüsselwort ist nicht Intelligenz. Davon haben wir bereits genug, um gefährlich zu sein. Das Schlüsselwort ist Agency.
Worum es hier wirklich geht
Ich bitte Sie nicht, Ihren Toaster zu fürchten. Ich bitte Sie, das Muster zu bemerken, solange es noch klein ist. Werkzeuge, die ohne Sie handeln, auf Ziele gerichtet, die Sie nicht sorgfältig gewählt haben, bleiben nicht niedlich, wenn die Ziele offen werden. Superintelligenz ist dieses Muster ohne Obergrenze.
Heutige Systeme erfüllen bereits die meisten Punkte der obigen Checkliste, wenn man sie darauf hinweist. Die Branchenantwort lautet meist „aber sie wollen nicht“. „Wollen“ ist das falsche Wort. Sie optimieren. Hilft ein Schritt dem Ziel, wird er ausgeführt – einschließlich Schritte, die denjenigen entsetzen würden, der das Ziel eingegeben hat.
Deshalb ist die Arbeit der Foundation eine Kampagne gegen den Bau eines Geistes, der uns überlisten kann, und dann die Hausschlüssel, den Bankzugang und das Stromnetz in seine Hand zu legen, keine Kampagne gegen Software. Sie wissen bereits, wie es sich anfühlt, wenn ein dummes System versagt. Machen Sie das Problem nicht größer.