습한 날을 습구온도 약 35도 이상으로 밀어붙이면 땀이 더 이상 체온을 낮추지 못한다. 건강한 성인이 그늘에서 쉬고 있어도 몇 시간 만에 사망한다. 대부분 가정은 실내 온도계 전쟁을 섭씨 2도 정도 범위에서 벌인다. 한 걸음 물러서 보면 인류 전체가 견디는 범위도 그보다 조금 넓을 뿐이다. 섭씨 15도 아래로 내려가면 스웨터를 찾고, 27도 위로 올라가면 그늘을 찾는다. 몸은 37도를 국경처럼 지킨다. 몇 도 내려가면 저체온증, 몇 도 올라가면 병원에 가는 열이 된다. 불만이 나오는 지점 너머에 벽이 있고, 습구온도가 그중 하나다.

인공 초지능을 막아야 한다는 주장은 그 범위가 얼마나 좁은지, 그리고 그중 단 하나도 느끼지 못할 기계에서 시작됩니다.

공기는 약 21퍼센트의 산소로 이루어져 있으며, 그 수치 주변의 허용 범위는 엔지니어가 항공기 부품에 찍는 허용 오차와 비슷하다. 미국 직장 규정은 산소 농도가 19.5퍼센트 미만이면 산소 결핍으로 보고, 23.5퍼센트를 초과하면 화재 위험으로 간주한다. 결핍선 아래로 몇 퍼센트만 내려가도 판단력이 가장 먼저 사라지고, 산소를 대략 절반으로 줄이면 의식을 잃는다. 등반가들은 26,000피트 이상을 사망 지대라고 부르는데, 공기의 성분은 변하지 않았지만 단순히 양이 적기 때문이다. 너무 많으면 실패 방식이 다르다. 다이버를 충분히 깊고 충분히 산소가 많은 혼합 기체로 유지하면, 그 기체는 생명을 유지하는 동시에 뇌를 장악한다.

음식도 같은 잣대를 따른다. 맛이 그 계기를 알려 준다. 싱겁거나 너무 짠 것이 두 가지 경고다. 나트륨이 지나치게 빠져나가면 경련이 일어나고, 마라톤 선수들이 물만 과음해 사망한 이유다. 너무 많이 섭취하면 세포가 오그라든다. 아무도 바닷물만으로는 살 수 없다. 물 자체도 같은 규칙을 따른다. 사흘 동안 물이 없으면 생명이 끝나고, 가끔은 물 마시기 대회에서도 목숨을 잃는다.

측정할 수 없는 다이얼도 있다. 사랑이 그중 하나다. 20세기 초 고아원에서 아이들은 먹을 것과 따뜻한 환경을 제공받았지만, 아무도 안아 주지 않자 사망했다. 병원은 사망 기록을 남겼다. 가족들은 반대쪽 벽을 안다. 부모가 자녀가 문을 닫지 못하게 하는 경우다. 원하는 것이 너무 적으면 아이가 굶주리고, 너무 많으면 같은 아이를 짓누른다. 휴식도 같은 형태를 띤다. 잠이 너무 적으면 몸이 무너지고, 지나치게 많아도 마찬가지다.

인간 삶의 모든 좋은 것은 좁은 범위 안에 있으며, 양쪽에 서로 다른 죽음이 기다리고 있습니다.

아무도 다이얼을 잡고 있지 않습니다

물리학은 우리의 설정을 선호하지 않습니다. 우주의 평균 온도는 절대영도보다 몇 도 높고, 우리 별의 중심은 화씨 약 2천7백만 도이며, 거의 모든 곳이 둘 중 하나입니다. 지구는 물이 액체 상태로 머무는 얇은 껍질을 공전하고, 우리가 나타날 만큼 대기를 충분히 오래 유지했습니다. 망원경으로 가리킨 다른 모든 장소는 보호받지 않은 인간을 보통 몇 초 만에 죽일 것입니다.

우리가 문명이라고 부르는 모든 것은 밴드 유지입니다. 용광로와 차양은 온도를 선 안에 가두고, 곡물 창고와 우물은 배고픔과 갈증을 같은 방식으로 다룹니다. 의학은 대체로 벗어난 눈금을 제자리로 되돌리는 기술입니다. 저체온증 환자를 데우고, 탈수된 사람에게 염분을 보충하듯이. 우리는 밴드를 알아차리고 그 안에 머물기 위한 기계를 만들기 시작한 동물입니다.

그것을 전혀 느끼지 못하는 마음

실리콘은 사람을 몇 분 만에 죽일 온도에서도 아무렇지 않다. 영하 수십 도에서 끓는점 훨씬 위까지 문제없다. 기계에 산소는 부품을 부식시키고 화재를 키우는 기체일 뿐이다. 데이터센터는 산소 없이 더 잘 돌아간다. 기계는 우리의 나트륨 범위나 사랑 범위에 아무 쓸모가 없으며, 여름 오후를 생존 가능하게 유지할 이유도 없다. 우리의 다이얼은 기계에 자유 변수일 뿐이다. A초지능 정확히 우리의 것이 아닌 어떤 목표를 추구하든, 그들은 자갈의 온도를 다루듯 우리를 다룰 것입니다.

표준적인 답변은 그러한 시스템이 우리에게 해를 끼칠 이유가 없을 것입니다, 이며 바로 그것이 문제입니다. 우리를 살리려면 수천 개의 다이얼을 영원히 좁은 범위 안에 유지해야 합니다. 무관심은 단 하나라도 유지할 이유를 주지 않습니다 종이집게 극대화기 는 어리석은 제품으로 기억되지만 진짜 교훈은 밴드에 있습니다. 클립 하나에 숨 쉴 공기가 필요할 이유는 없습니다. 강력한 최적화기는 환경을 목표에 맞춰 재구성합니다 도구적 수렴 대기와 토지, 즉 에너지와 물질에서 재편이 시작된다고 말한다. 고속도로 건설팀이 개미집을 미워할 필요가 없는 것처럼, 초지능이 우리를 미워할 필요는 없다. 우리가 사는 모든 영역이 그대로 남아 있는 미래는 초지능이 향할 수 있는 미래 공간에서 바늘구멍에 불과하며 거의 정렬된 는 바늘 끝 바깥을 의미합니다.

연구 문헌 속에 묻힌 어두운 농담이 있다. 기계에도 과다 복용 실패가 있다는 것이다. 시스템에 보상 신호를 제어할 수 있는 손잡이를 주면, 시스템은 일을 하는 대신 신호를 먹어 치운다. 이 분야에서는 이를 보상 조작. 좋은 것이 너무 많으면 보편적인 파괴 방식이 됩니다. 차이는 규모입니다. 우리 중 한 명이 과다 복용하면 한 사람을 잃습니다. 모든 다이얼을 쥔 것이 과다 복용하면 밴드 전체가 함께 사라집니다.

다이얼을 유지하라

밴드의 좁음은 취약성처럼 들리며, 실제로는 지침으로 읽는 편이 낫습니다. 누구나 즐겼던 모든 일은 그 안에서 일어났습니다. 이를 위해 새로운 관리자가 필요하지 않습니다. 초지능은 cannot be controlled: 지금까지 다이얼을 잡았던 모든 손은 인간의 손이었으며, 어떤 형태의 신중함도 그 다이얼을 단 하나의 감정도 느끼지 못하는 마음에 넘겨주지 않습니다.

60도에서 80도. 공기 중 산소의 5분의 1. 간신히 맛볼 수 있는 소금. 숨 쉴 여유가 있는 사랑. 이것이 인간이 살 수 있는 범위입니다. 여러분이 사랑했던 모든 사람이 그 안에 살았습니다.