狭い帯域
人間が住む

湿球温度が華氏95度を超えるような蒸し暑い日を押し進めると、汗が体を冷やせなくなる。健康な成人が日陰で安静にしていても、数時間で死に至る。ほとんどの家庭はサーモスタットを約4度の範囲で争ってきた。そこから離れると、人類の生存範囲はわずかしかない。華氏60度を下回ればセーターを手に取り、80度を超えれば日陰を求める。体は98.6度を国境のように守る。数度下がれば低体温症、数度上がれば病院での発熱となる。不満の声が上がる場所の先に壁があり、湿球温度はその一つだ。

人工超知能を阻止する根拠は、その幅がどれほど狭いか、そしてそのどれ一つも感じない機械から始まる。

大気中の酸素濃度は約21パーセントで、その許容範囲は航空機部品に刻印される公差に似ている。米国の職場規則では、酸素濃度が19.5パーセントを下回ると酸素欠乏とされ、23.5パーセントを超えると火災危険とみなされる。欠乏ラインを数ポイント下回ると判断力が最初に失われ、酸素がほぼ半分になると意識を失う。登山家は26,000フィートを超える領域をデスゾーンと呼び、空気の組成は変わらないが量が少ないだけである。多すぎる場合の失敗は異なる。ダイバーが十分に深い場所で十分に濃い混合ガスを吸うと、命を保つ同じガスが脳を襲う。

食料も同じ尺度で動き、味がその計器となる。味気なさと塩辛すぎることが二つの警報だ。ナトリウムが体から洗い流されすぎると痙攣が起き、マラソンランナーが水を飲みすぎて死亡する原因となる。塩分を入れすぎると細胞が萎縮し、海水だけで生きられる者はいない。水自体もこの規則に従う。三日間飲まなければ命が終わり、時には飲み比べで命を落とすこともある。

計器が読めないダイヤルもある。愛はその一つだ。20世紀初頭の孤児院では、幼児に食事と暖かさが与えられていたが、抱きしめる者がいなければ死亡した。病院は死亡記録を残した。家族はもう一つの壁を知っている。親が子供にドアを閉めさせないことだ。必要とされることが少なすぎれば子供は飢え、多すぎれば同じ子供を押し潰す。休息でさえ同じ形を持つ。睡眠が少なすぎれば体は衰え、過剰でも同じだ。

人間の人生におけるすべての良いものは狭い帯の中にあり、両側に異なる死が待っている。

誰もダイヤルを握っていない

物理法則は私たちの設定を特に好まない。宇宙の平均温度は絶対零度より数度高く、私たちの恒星の中心は華氏約2700万度で、ほとんどどこもそのどちらかだ。地球が偶然液体の水が存在する薄い殻を回り、偶然大気を十分長く保持して私たちが現れたにすぎない。私たちが望遠鏡を向けたどの場所も、無防備な人間を数分、たいていは数秒で殺す。

私たちが文明と呼ぶものはすべて、帯域の維持である。炉と日よけは温度を一定の範囲に保ち、穀倉と井戸は飢えと渇きを同じように制御する。医学とは、主に逸れたダイヤルを本来の位置に戻す技術だ。低体温症の患者を温め、塩分を失った者に塩を与える。私たちは帯域に気づき、それを維持する機械を作り始めた動物である。

それを感じない心

シリコンは人間を数分で殺す温度をものともせず、零下の遠く下から沸点を超えるまで快適に動作する。機械にとって酸素は部品を腐食させ火を養う気体であり、データセンターは酸素なしでより良く稼働するだろう。機械は我々の塩分帯や愛情帯を必要とせず、夏の午後を生存可能に保つ理由もない。我々のダイヤルは機械にとって自由変数だ。超知能 私たちの正確な目標ではない目標を追求することは、それらを砂利の温度を扱うように扱うことになる。

標準的な返答は、そのようなシステムは 私たちを害する理由はないだろう, 、それこそが問題なのです。私たちを生きながらえさせるには、何千ものダイヤルを永遠に狭い範囲に保ち続けなければなりません。無関心は、たとえ1つでも保つ理由を与えません。 ペーパークリップ最大化器 は馬鹿げた製品で記憶されるが、本当の教訓はバンドにある。ペーパークリップに息のできる空気が必要なわけではない。強力な最適化プロセスは、目標に向かって環境を再形成する。そして、 手段的収束 says the reshaping starts with energy and matter: our atmosphere and our land. It would no more have to hate us than a highway crew hates the anthill. The futures in which every band we live in stays intact are a pinprick in the space of futures a superintelligence could steer toward, and ほぼアラインド はピンプリックの外を意味する。

研究文献に埋もれたブラックジョークがある。機械にも独自の過剰摂取失敗がある。報酬信号への操作権を与えると、システムはその信号を本来の仕事ではなく信号そのものに費やす。分野ではこれを ワイヤーヘディング. 。良すぎるものは、普遍的な破壊の原因になる。違いは規模だ。私たちが過剰摂取すれば一人が死ぬ。すべてのダイヤルを握る存在が過剰摂取すれば、すべての命運が共倒れになる。

ダイヤルを保つ

帯域の狭さは脆さに聞こえるが、それはむしろ指示として読むべきだ。誰かがこれまで楽しんだことはすべてその中だけで起きた。我々はそれに新しい管理者を必要としない。超知能cannot be controlled: ダイヤルを握った手はすべて人間のものであり、慎重さのいかなるバージョンも、それらを一本のバンドすら感じられない心に渡すことはない。

摂氏16度から27度。空気中の酸素の5分の1。ほんのり感じる塩分。息のできる余裕のある愛。それが人間が生きられる範囲だ。あなたが愛したすべての人がその中に生きていた。