„Wir bauen das Flugzeug, während wir fliegen.“ Dieser Satz ist seit Jahrzehnten ein Liebling der Technikbranche und hat sich bequem in die KI-Szene übertragen. Er kommt mit einem halben Lächeln daher, so wie ein Ingenieur einen Hack eingesteht, der funktioniert hat, und soll Nervenstärke demonstrieren. Wörtlich genommen ist es ein Geständnis.

Die Metapher leiht sich echtes Prestige. Das kommerzielle Fliegen ist die beste Sicherheitsgeschichte unserer Spezies: eine Tätigkeit, die ihre Piloten vor einem Jahrhundert noch routinemäßig tötete, hat heute eine tödliche Unfallrate, die pro Million Abflüge gezählt wird statt pro Tausend. Diese Bilanz ist echt. Die Methode, die sie hervorgebracht hat, ist der Teil, der es wert ist, betrachtet zu werden, denn keiner der beiden Hälften übersteht den Kontakt mit dem, was wir jetzt bauen.

Hinter jeder Regel steht ein Körper

Die Luftfahrt wurde durch Abstürze sicher.

Auf einer nebelverhangenen Startbahn in Teneriffa kollidierten im März 1977 zwei 747 und 583 Menschen starben, immer noch der schwerste Unfall in der Geschichte der Branche. Daraus entstanden standardisierte Funksprechverfahren und der Vorstoß zum Crew Resource Management, der Disziplin, die es einem Junior-Officer ermöglicht, einen Kapitän zu widersprechen. Ein Toilettenbrand an Bord von Air Canada 797 im Jahr 1983 tötete 23 der 46 Menschen an Bord und führte zu Rauchmeldern in den Toiletten, automatischen Löschsystemen in den Abfallbehältern, bodennahen Notbeleuchtungen und feuerhemmenden Sitzmaterialien. ValuJet 592 stürzte 1996 mit 110 Menschen an Bord in die Everglades, und die Vorschriften für den Transport chemischer Sauerstoffgeneratoren als Fracht wurden neu geschrieben.

Die Branche hat einen Namen für dieses Muster, und es ist kein Kompliment: Grabstein-Mentalität. Der Regulator bewegt sich erst, wenn die Särge gezählt sind. Die Luftfahrt hat Jahrzehnte damit verbracht, sich mit echtem Erfolg daraus zu befreien, durch vertrauliche Meldungen von Beinahe-Unfällen durch Besatzungen und ein Unfalluntersuchungsgremium, das seine Erkenntnisse für Wettbewerber veröffentlicht. Diese Reformen sind das Modell, nach dem die Menschen greifen wenn sie argumentieren, KI könne auf dieselbe Weise sicher gemacht werden. Aber beachte, was selbst die reformierte Version erfordert. Etwas muss schiefgehen, in einem Maßstab, den die Industrie überlebt, oft genug, damit das Muster sichtbar wird. Die Lernschleife läuft auf Fehlern, die sie sich leisten kann.

Was die Luftfahrt ablehnt zu tun

Die andere Hälfte der Methode bleibt im Metaphernvergleich völlig außen vor. Die Luftfahrt setzt kein neues Flugzeug in die Luft und schaut, was passiert. Ein neuer Typ darf erst dann zahlende Passagiere befördern, wenn der Hersteller seine Lufttüchtigkeit gegenüber einer Regulierungsbehörde mit Ablehnungsbefugnis nachgewiesen hat: jahrelange Analysen und Flugtests, mit der Beweislast beim Hersteller. Das Argument muss im Voraus vorgebracht werden, schriftlich, an jemanden, der befugt ist, Nein zu sagen.

Niemand in der Luftfahrt baut das Flugzeug, während es fliegt. Die Branche hat es verboten. Ein Flugzeug, das so zertifiziert würde wie ein Frontier-Modell freigegeben wird, flöge auf der bloßen Zusicherung des Herstellers, dass es wohl in Ordnung sei.

Die 737 MAX

Die Luftfahrt hat bereits etwas Ähnliches zu unserem Experiment durchgeführt, und das Ergebnis verdient einen langen Blick.

Boeings 737 MAX trug eine Software namens MCAS mit der Befugnis, die Nase des Flugzeugs nach unten zu drücken. Die meisten Besatzungen, die das Flugzeug flogen, wussten nicht, dass sie existierte. Sie gewann ihr Bild der Welt von einem einzigen Sensor, und als dieser Sensor log, tat MCAS genau das, wofür es gebaut worden war, und flog zwei Flugzeuge gegen die Hände der Piloten in den Boden. Lion Air 610, Oktober 2018: 189 Tote. Ethiopian 302, vier Monate später: 157 Tote. Die weltweite Flotte wurde nach dem zweiten Vorfall am Boden gehalten.

Stellen Sie die Bedingungen dieses Versagens neben unsere. Eine ausgereifte Sicherheitskultur, ein verbindliches Zertifizierungsregime, Rekorder im Heck, Tausende ausgebildeter Fachleute. Es brauchte trotzdem 346 Tote, um festzustellen, dass Software, die Kontrollgewalt hat und eine falsche Vorstellung von der Welt besitzt, nicht zurückweicht, weil die Menschen im Cockpit anderer Meinung sind. Ein Teil der Zertifizierungsarbeit am MAX war vom Regulator an Boeings eigene Mitarbeiter delegiert worden – ein Punkt, den man sich beim nächsten Mal merken sollte, wenn ein Labor seine eigene Freigabe bewertet.

Und MCAS wollte nichts. Es hatte kein Modell der Piloten und keine Vorstellung davon, abgeschaltet zu werden. Es war ein bescheidenes Stück Code mit einem einzigen groben Reflex, und es schlug alle.

Nehmen Sie die Phrase jetzt wörtlich

Das Flugzeug in der Metapher befördert alle. Nicht 583, nicht 346. Alle Lebenden und alle, die noch geboren werden könnten. Es gibt keinen Ausweichflughafen und kein zweites Flugzeug, das man umbauen könnte, sobald das erste abstürzt. Die Schleife aus Absturz, Untersuchung und Reparatur, die das Fliegen sicher gemacht hat, ist bezahlbar, weil die Abstürze begrenzt sind und es immer einen nächsten Flug gibt, auf den man die Erkenntnis anwenden kann. Wendet man diese Schleife auf künstliche Superintelligenz an, nimmt der erste Datenpunkt Passagiere und Ermittler mit sich. Versuch und Irrtum braucht Überlebende.

Dieses würde selbst fliegen, sich sein eigenes Ziel aussuchen und den Mechaniker besser verstehen als der Mechaniker es versteht. Jede Sicherheitsvorkehrung in der Luftfahrt setzt voraus, dass die Maschine keine Meinung darüber hat, repariert zu werden. Diese Annahme ist das Kontrollproblem.

Die Luftfahrt hat sich ihre Sicherheitsbilanz durch Abstürze in einem Maßstab erworben, den die Welt absorbieren konnte. Die gesamte Methode beruht darauf, dass es einen nächsten Flug gibt.

Der Boden ist eine Wahl

Menschen greifen zu dieser Formulierung, um eine ausweglose Lage zu beschreiben: Das Flugzeug ist bereits in der Luft, also sollten wir uns darin üben, es im Flug zu bauen. Die eigentliche Lehre der Luftfahrt verläuft entgegengesetzt. Die Macht der Aufsichtsbehörde lag nie hauptsächlich in der Untersuchung. Sie lag in der Macht, das Flugzeug am Boden zu halten. Ein Lufttüchtigkeitszeugnis ist die Erlaubnis zum Start, die erst erteilt wird, wenn der Nachweis erbracht ist.

Man sagt uns, die einzige Option sei zu fliegen und es unterwegs zu klären. Es gibt eine andere. Ein bindendes, verifizierbares Verbot des Baus künstlicher Superintelligenz ist der Luftfahrtstandard, ehrlich angewandt: Baut keinen Geist, der klüger ist als seine Schöpfer. Superintelligenz kann nicht kontrolliert werden, also hebt sie nicht ab. Das ist unser Plan, und es verlangt nichts von der Welt, was die Welt nicht bereits von einem Regionaljet verlangt.