Hier ist ein einfacher Test. Würden Sie irgendein heute verfügbares KI-System Sie in einen versiegelten Raum einschließen, die Klimaanlage in der Decke unter seine Kontrolle stellen, dieses System mit einem Tank Giftgas verbinden und darauf vertrauen, dass es das Ventil nicht öffnet? Natürlich nicht. Sie würden es nicht für eine Million Dollar und ein Sicherheits-Whitepaper tun. Sie würden es nicht tun, weil das Modell bei einem Chat-Benchmark gut abgeschnitten hat. Sie würden es nicht tun, weil das Unternehmen im Marketing-PDF behauptet hat, das System sei hilfreich und harmlos.

Sie verweigern aus einem langweiligen Grund. Sie vertrauen der Maschine nicht mit einem einzigen irreversiblen Hebel über Ihr Leben. Diese Verweigerung ist Vernunft. Halten Sie daran fest.

Jetzt den Raum skalieren

Die Welt ist ein größerer Raum. Die Hebel sind Stromnetze, Märkte, Waffennetzwerke, Biolabore, Logistik und die Softwareschicht, die bereits über dem gewöhnlichen Leben liegt, kein Requisitentank. Wir bauen Systeme, die jedes Quartal besser darin werden, Hebel zu betätigen, und wir verbinden jedes Jahr mehr Hebel mit Software.

Wenn Sie dem heutigen Modell nicht eine einzige Ventil in einem einzigen Raum anvertrauen würden, warum vertrauen Sie dann dem Modell von morgen alle an? Die üblichen Antworten sind weich. „Wir werden mehr testen.“ „Wir werden einen Menschen in der Schleife behalten.“ „Bis dahin wird es aligned sein.“ Das sind Hoffnungen. Sie sind kein Grund, warum der kleine Test und der große Test entgegengesetzte Antworten erhalten sollten.

Wenn du ihm nicht das Ventil geben würdest, gib ihm nicht die Welt.

Die Ehrlichkeitslücke

Menschen, die an diesen Systemen arbeiten, geben manchmal in vorsichtiger Sprache zu, dass sie nicht wissen, wie man Kontrolle jenseits eines bestimmten Fähigkeitsniveaus garantieren kann. Dann geht die Produkt-Roadmap weiter. Diese Lücke zwischen privater Vorsicht und öffentlicher Bereitstellung ist das gesamte Problem im Kleinen.

Ich bitte Sie nicht, über Nacht Ingenieur zu werden. Ich bitte Sie, das Urteilsvermögen zu behalten, das Sie bereits besitzen, wenn das Szenario konkret ist. Ein verschlossener Raum und ein Gasventil machen die Einsätze offensichtlich. Superintelligenz hat dieselbe Form, nur mit schlechteren Chancen und ohne Reset-Knopf.

Stellen Sie die Frage also öffentlich. Würden Sie einem aktuellen Modell das Ventil anvertrauen? Wenn die Antwort nein lautet, stimmen, finanzieren oder schulterzucken Sie sich nicht in das Vertrauen hinein, es mit der Zivilisation zu betrauen. Die konsistente Antwort ist die, die Sie am Leben erhält: Bauen Sie nicht das System, mit dem Sie sich nicht in einen Raum einschließen würden.