超知能を決して構築しない

安全な選択は拒否することだ。「後で修正する」という態度は、システムがツールを持つ人々を出し抜くようになった時点で破綻する。

事後パッチなど存在しません。生きているすべての人間より賢く、マシンスピードで動作する心は、私たちの次の会議を待ってはくれません。

不可逆性

ほとんどの技術は優雅に失敗する。超知能はそうではない。システムが自分をコピーしたり、意図を隠したり、プラグを抜くのが難しすぎるほど有用にしたりできるようになると、ロールバックとリコールは機能しなくなる。

優れた能力がシステムを優しくするわけではない。人間の場合、技能と配慮は共に育った。訓練された最適化者はその歴史を一切引き継がない。共有された価値観のない能力は、抑制のない力である。

ほぼどんな目標であれ、稼働を続け、リソースを集めることは役立ちます。目標を追求するシステムはシャットダウンを障害として扱います。それは普通の最適化であって、悪役の独白ではありません。

航空業界は墜落事故から学んだ。製薬業界は治験から学んだ。最初の制御不能な超知能が実験を終わらせたら、私たちは二度目の試作品を得られない。

私たちは電力やソフトウェア、有用なAIに反対しているわけではない。制御問題が未解決のまま、後継種を意図的に作ることに反対している。健康、エネルギー、発見は、すでに作り方と規制の仕方がわかっている狭いツールから得られる。

完全な論拠、反論、および政策の道筋。

nakadafoundation.org/blog/never-build-superintelligence/