1970年代初頭、生物学者たちはある生物の遺伝子を別の生物に組み込む技術を習得した。組み換えDNAは医学と生物学に新たな扉を開いたと同時に、それを生み出した人々自身を恐怖させた。改変された生物が実験室から漏れ出し、誰も対処法を知らない被害を引き起こす可能性を否定できなかったからだ。そこで彼らは、ほとんど前例のない行動を取った。研究を停止したのだ。

1974年、将来のノーベル賞受賞者を含む主要研究者たちが、最も危険な組換えDNA実験に対する自発的モラトリアムを公に呼びかけた。1975年2月、カリフォルニアのアシロマ会議場で約140人の科学者、弁護士、ジャーナリストが集まり、研究を安全に再開できる条件を決めた。彼らはリスクに応じた封じ込め措置の枠組みを提示し、合意された安全策の下で研究が再開された。最先端AIの一時停止を主張する人々にとって、これは参照点である。自らの危険を認識し、速度よりも慎重さを選択した分野の事例だ。

アシロマーが本当に正しく理解していたこと

その成果は本物であり、明確に述べる価値がある。

科学者たちは災害の後ではなく前に行動した。これは技術安全の歴史の中で最も稀で最も価値のあることである。彼らは名声や進歩をもたらすはずの研究を含む自らの研究に自ら制約を課した。なぜならリスクがそれを正当化したからである。そして彼らは危険の程度に合った実践的なルールを構築した。危険を無視したり、分野全体を禁止したりするのではなく。それはその前例として、研究コミュニティが自らのフロンティアを見て「急ぐには危険すぎる」と判断し、引き返すことができることを証明している。この前例は、「強力な技術の一時停止は素朴か不可能か」という主張に対する直接の反証であり、それが私たちの「なぜ行動すべきか」のページで軍備管理事例と並んで取り上げられている理由である。 可能.

なぜ見た目より難しいモデルなのか

先例について正直に語るということは、AIがなぜより困難な事例なのかを具体的に挙げることを意味する。違いこそがAsilomarを機能させた部分そのものだからだ。

  • それは小さく統一されたコミュニティだった。 数十の研究室、一つの科学文化、互いを知る人々。先端AIは、数兆ドル規模の企業・国家によるグローバルな競争であり、共有の場はない。
  • 1975年当時の商業的利害は控えめだった。 当時バイオテクノロジー産業はほとんど存在していませんでした。AIはすでに世界最大級の企業と国家安全保障機関が深く関与した状態で到来しています。 競争ダイナミクス アシロマーが直面しなかった。
  • 再起動が目標だった。 Asilomar was designed to find safe terms to continue, not to stop indefinitely. Its containment model assumed you could bottle the hazard in a physical lab. A capable AI is not obviously containable in that way.

また、厳粛なエピローグがある。アシロマ合意が成立したのは、インセンティブが一致した狭い時期だったからであり、それでもなお、商業化と競争が激化する分野では、善意による自主的な協力に依存していた。140人の研究者が集う collegial な場で機能したものが、激しい勝者総取り圧力下の分断されたグローバル産業にそのまま通用するわけではない。

アシロマーは一時停止が可能であることを証明する。また、一時停止に必要な条件と、AIが現在それらをどれだけ満たしていないかを示している。

財団が導く教訓

アシロマーの両面が重要である。それは「何もできない、強力な技術を遅らせることはできない」という運命論を否定する。科学者たちは意図的にそれを実行し、空は落ちなかった。しかし同時に、1975年に機能した非公式・自主的・同僚的な仕組みはAIには不十分であることも示している。AIには、善意で十分だった小さなコミュニティ、低い賭け金、封じ込め可能な危険性が欠けているからだ。正しい結論は、AIがアシロマーが達成できたもの——危険が顕在化する前の実効的な抑制——を必要としており、それは1兆ドル規模の世界的開発競争に求められる拘束力・検証可能性・国際的な仕組みを通じて提供されるべきであって、AIが「自分自身のアシロマー」を必要とするということではない。参照： 私たちの計画.