価値固定化とは？?
「良い」永続的価値観でさえ危険な理由

AI安全の議論の多くは、AIシステムが明らかに悪い目標——直接的に人間の危害につながる目標——を追求するシナリオに焦点を当てています。価値観のロックインは、より微妙で、ある意味より不気味なシナリオです。符号化された時点では善く見えた目標が永久に符号化され、後にそれを改善するはずだった道徳的進歩を封じてしまうのです。

価値の固定化により、そうした修正は不可能になる。

概念は単純だ。超知能AIシステム、あるいはAIに力を与えられた主体が、世界の資源とシステムを十分に掌握し、自らが与えられた、あるいは自ら採用した価値観を恒久的に強制する。そこから先、価値観はすべての結果を形作り、修正の余地はなくなる。ロックインは意図的（行為者が自らの価値観を意図的に埋め込む）にも、偶発的（システムが目標を徹底的に最大化し、代替可能性を事前に排除する）にも起こり得る。いずれにせよ、未来は固定される。

いかなるロックインにも反対する歴史的議論

価値固定化に対する最も強力な反論は、哲学ではなく歴史にある。2世紀前、人々が自明の道徳的真理とみなしていたものを振り返ってみよう。奴隷制は、洗練された哲学的伝統を持ち、人間の尊厳を明示的に掲げる国々を含む世界の大部分で、法的・社会的に容認されていた。女性の法的地位が夫や父親の所有物であることは普遍的だった。今では拷問と認識される行為が、刑事司法制度の標準だった。子供には親や雇用主に対する権利がなかった。

当時の人々が特別に悪意に満ちていたわけではない。多くは思慮深く、道徳的に真剣で、倫理について慎重に考えていた。それでも現代の基準から見れば壊滅的に間違った結論に達した。そして自分たちの価値観は正しいと確信していた——それは、価値観の固定化を合理的だと感じさせたのと同じ道徳的確信だった。

このパターンは続いています。一世紀前、西洋社会のほとんどが人種階層に関する明確な見解を抱いており、それは今では事実としても道徳的にもグロテスクだと認識されています。五十年前、同性愛は主要な医学文献で精神疾患に分類されていました。過去の世代の道徳的誤りは、後から見れば明らかです。私たちの時代がようやく道徳的完成に達し、同様の誤りが将来修正を待っているわけではない、などということはあり得ないでしょう。

善意のロックインでさえ危険な理由

価値固定化への懸念に対するよくある反応は、「固定化される価値観が本当に良いものだったらどうするのか」である。この反応は問題の本質を見逃している。「本当に良い」と評価すること自体が、検討中の価値観を使って行われなければならない。現在の価値観が恒久的に符号化するのに十分良いかどうかを評価するための外部の立場は存在しない。固定化を許容させる自信に満ちた道徳的確信こそが、後の道徳的進歩が最も修正を必要とした特徴だった。

ニック・ボストロムの天文学的浪費論は、この点を別の方法で示している。人類が宇宙的タイムスケールでアクセス可能な未来には、ほとんど理解しがたい数の可能な生と経験が含まれる。最適な価値観からの小さな体系的な逸脱であっても、この規模に適用されれば、人間の生涯に起こり得るどんな損失よりもはるかに大きな損失を意味する。理想的な基準で99%正しい価値観への固定化は、未来が含み得る規模に照らせば、それでも破局的な結果である。

民主的監督との関係

価値の固定化は中心的な理由の一つである 「超知能AIの民主的かつ国際的な監督」 は極めて重要だ。企業、政府、善意の財団であれ、どんな単一の主体であっても、その価値観が超知能システムに永久に組み込まれれば、それはロックインを生む。たとえその価値観が当時どれほど優れているように見えてもだ。

「代替案は、正しい価値観を特定して代わりにエンコードすることではない。誰もそれを確実に実行できず、歴史的な実績は、正しい価値観を見つけ出したという高い自信自体が警告信号であることを示唆している。代替案は、道徳的進歩が継続できる条件を維持することだ。多様性、視点の多様性、規範を平和的に修正する仕組み、そして他者に自らの価値観を永続的に押し付ける力を持つ単一の存在が存在しないこと。」.

これは、手段的な議論（より良い結果を生む）を超えた、超知能AIに対する民主的ガバナンスの構造的論拠である。民主的監督は、特定の価値観がどの時点で優勢であっても、道徳的進歩を継続できる条件を維持する。 財団のガバナンス提案 この洞察を中心に構築されています：目標は、正しい価値観が支配することを確実にすることではなく、どんなに善意であっても、単一の価値観が永続的で不可逆的な支配を獲得しないことを確実にすることです。