「飛行しながら飛行機を組み立てている。」この表現は数十年にわたりテクノロジー界で好まれてきたが、今ではAIの文脈にもすんなり入っている。うまくいったハックを認めるエンジニアの半笑いのような口調で語られ、度胸の自慢として使われる。文字通りに受け取れば、それは告白だ。

この比喩は本物の威信を借りている。商業飛行は人類が持つ最高の安全物語だ。1世紀前にはパイロットを日常的に殺していた活動が、今では致命的な事故率が数千便ではなく百万便あたりで数えられるほど低い。その記録は本物だ。それを生み出した方法こそが注目に値する部分だ。なぜなら、そのどちらも私たちが今作っているものとの接触では生き残らないからだ。

すべてのルールには背後に人間がいる

航空は墜落によって安全になった。

1977年3月、霧に包まれたテネリフェの滑走路で2機の747が衝突し、583人が死亡した。これは航空史上最悪の事故である。これをきっかけに標準化された無線用語と、クルーリソースマネジメント——副操縦士が機長に異議を唱えられるようにする規律——の推進が生まれた。1983年にエア・カナダ797便のトイレ火災で乗客46人中23人が死亡し、トイレ用煙探知機、ゴミ箱の自動消火装置、床レベルの脱出誘導灯、難燃性座席素材が導入された。1996年にヴァリュージェット592便がエバーグレーズに墜落し、乗員乗客110人が死亡したことで、化学酸素発生器の貨物搭載に関する規則が改定された。

業界はこのパターンに名前をつけていて、それは褒め言葉ではない。墓石メンタリティだ。規制当局は棺が数えられてから動く。航空業界は数十年にわたり、乗員による機密のニアミス報告と、競合他社が読むための調査結果を公表する事故調査委員会を通じて、これから脱却するのに成功してきた。 それらの改革は人々が求めるモデルである と彼らはAIも同じように安全にできると主張する。しかし、改訂版であっても何が必要かをよく見ること。何かが、業界が耐えられる規模で、十分な頻度で間違わなければならない。学習ループは、許容できる失敗の上に成り立っている。

航空業界が拒否すること

比喩から完全に抜け落ちている方法のもう半分があります。航空業界は新型機を飛ばして様子を見ることはしません。有償旅客を乗せるには、製造者が拒否権を持つ規制当局に対して耐空性を証明しなければなりません。分析と飛行試験に何年もかけ、立証責任は製造者側にあります。 主張は事前に用意されなければならない, 拒否権を持つ人に書面で。

航空業界では、飛行しながら飛行機を組み立てることは誰もやらない。そのような行為は業界が禁止した。フロンティアモデルがリリースされるような方法で認証された機体は、メーカー自身の『問題ないようです』というメモだけで飛ぶことになる。

The 737 MAX

航空業界はすでに私たちの実験に近いことを行っており、その結果はよく検討する価値がある。

ボーイング737 MAXには、機首を押し下げる権限を持つMCASというソフトウェアが搭載されていた。ほとんどの乗員はその存在を知らなかった。世界の認識を単一のセンサーから得ており、そのセンサーが誤ったとき、MCASは設計された通りに動作し、パイロットの操縦に逆らって2機の機体を地面に叩きつけた。ライオン・エア610便、2018年10月：189名死亡。エチオピア航空302便、4カ月後：157名死亡。2機目墜落後に全世界の同型機が運航停止となった。

その失敗の条件を、私たちの状況と並べてみよう。成熟した安全文化、義務的な認証制度、尾翼への記録装置、数千人の訓練された専門家。それでもなお、346人の死者を出してようやく明らかになったのは、制御権限を持ち、世界についての誤った信念を抱えたソフトウェアは、コックピットにいる人間が反対しても引き下がらないということだ。MAXに関する認証業務の一部は、規制当局からボーイング自身の社員に委ねられていた。この事実は、次に研究室が自らのリリースを評価する場面で思い出す価値がある。

そしてMCASは何も望んでいなかった。パイロットのモデルもなく、電源を切られることについての見解もなかった。それは粗雑な反射を一つ持つ控えめなコード片にすぎず、それでも全員を打ち負かした。

今、そのフレーズを文字通りに取る

比喩の中の飛行機は、すべての人を乗せている。583人でも346人でもなく、生きているすべての人、そしてこれから生まれるかもしれないすべての人だ。代替空港はなく、一度最初の機体が墜落したら修正できる二機目もない。飛行を安全にした「墜落→調査→修正」のループが成立するのは、墜落が限定的で、教訓を適用できる次の便が常に存在するからだ。そのループを人工超知能に適用すれば、最初のデータポイントが乗客と調査員を一緒に連れ去ってしまう。 試行錯誤には生存者が必要だ.

これは自分で飛行し、目的地を自分で選び、整備士より整備のことを理解するだろう。航空のあらゆる安全策は、機械が修理されることに意見を持たないことを前提としている。 その仮定が制御問題だ.

航空は世界が吸収できる規模で墜落することで安全記録を獲得しました。全体の方法は次の飛行があることに依存しています。

基盤は選択である

人々はこのフレーズを、出口のない窮地を表すために使う。飛行機はすでに空に上がっているのだから、空中で作るのが上手くなるしかない、と。航空の実際の教訓は逆だ。規制当局の力は、主に事故調査にあったわけではない。航空機を地上に留めておく力だった。耐空証明は離陸の許可であり、十分な根拠が示されるまで与えられない。

唯一の選択肢は飛び立ち、途中で何とかすることだと言われます。しかし別の道があります。人工超知能の構築を禁止する、拘束力と検証可能性のある禁止こそが、航空の基準を正直に適用したものです。作り手より賢い心を作らない。超知能は制御できないので、離陸させない。 それが私たちの計画, 、そしてそれは地域ジェット機に世界がすでに求めている以上のことを世界に求めていない。