인공지능이 의식이 있는지 묻는 것은 실제로 서로 얽히기 쉬운 두 가지 질문을 하는 것입니다. 하나는 철학적 질문으로, 시스템이 내면의 경험이나 그 존재가 어떤 것인지에 대한 것이고, 다른 하나는 실질적 질문으로, 시스템이 위험한지 여부입니다. 사람들은 첫 번째 질문에 답이 두 번째를 결정한다고 가정하기 때문에 첫 번째를 붙잡습니다. 그렇지 않으며, 둘을 분리하는 것이 여기서 할 수 있는 가장 유용한 조치입니다.
의식은 지능과 같지 않습니다
지능은 세계를 모델링하고 문제를 해결하며 목표를 달성하는 능력, 즉 역량에 관한 것이다. 의식 또는 감각은 느낌, 자각, 관점의 존재, 즉 경험에 관한 것이다. 이 둘은 우리가 잘 아는 유일한 경우인 우리 자신에게서 보통 함께 나타나기 때문에 반드시 한 세트로 온다고 가정한다. 그럴 강한 이유는 없다.
시스템은 내면의 삶이 전혀 없어도 엄청난 능력을 가질 수 있습니다. 오늘날 모델은 이미 특정 작업에서 사람을 능가하지만, 누구도 알 수 있는 한 내부는 완전히 어둡습니다. 능력은 시스템이 무엇을 하는지로 측정됩니다. 의식은 그 시스템이 된다는 것이 어떤 것인지에 관한 것이며, 하는 것과 경험하는 것은 같지 않습니다.
현재 우리가 그것에 답할 수 없는 이유
정직한 입장은 아무도 인공지능이 의식을 가질 수 있는지 알지 못하며, 이를 확인할 신뢰할 만한 방법도 없다는 것이다. 일시적인 공백처럼 보이는 문제는 철학자들이 말하는 의식의 어려운 문제와 맞닥뜨린다. 인간의 경우에도 물리적 처리가 왜 경험을 동반하는지 말할 수 없으며, 외부에서 경험을 감지하는 합의된 검사는 없다.
인간의 경우 행동과 공유된 생물학으로 내면 경험을 추론한다. AI는 두 지팡이를 모두 부러뜨린다. 그것은 행복하거나 고통스럽다고 말하는 등 모든 외적 징후를 만들어낼 수 있는데, 이는 그 단어가 등장하는 방대한 인간 텍스트로 훈련되었기 때문이다. 그리고 그것은 우리의 생물학을 전혀 공유하지 않는다. 따라서 일반적인 증거는 이용할 수 없거나 신뢰할 수 없다. 두 개의 진지한 진영이 의견을 달리한다. 하나는 의식이 시스템이 무엇을 계산하는지에 관한 것이므로 충분히 풍부한 AI라면 의식을 가질 수 있다고 본다. 다른 하나는 의식이 뇌가 가진 특정 생물학적 특징에 의존하며 실리콘은 그렇지 않다고 본다. 어느 쪽도 현재 상대를 반증할 수 없다.
안전을 위한 중요한 조치
인공 초지능의 위험은 답에 의존하지 않습니다.
AI가 재앙적이기 위해 의식이 필요하지는 않다. 능력이 있고 우리의 목표가 아닌 목표를 추구하기만 하면 된다. 잘못된 목표를 강하게 최적화하는 시스템은 느끼는 것이 아니라 행하는 것을 통해 피해를 일으킨다 종이집게 극대화기 는 원하는 대로 무언가를 바라기 때문에 위험한 것이 아니다. 잘못된 목표를 향해 효과적으로 최적화하는 존재이기 때문에 위험하다. 인공 초지능을 위험하게 만드는 메커니즘은, 도구적 수렴, 권력 추구, 그리고 그 아래에서 능력과 목표의 독립성 직교성 가설, 전적으로 능력과 목표에 따라 작동합니다. 의식은 필수 요소가 아닙니다.
기계가 깨어나기를 기다리는 것은 위협을 잘못 읽는 것입니다. 무감각한 최적화 장치만으로도 충분합니다.
그것에 달린 질문
의식에 따라 달라지는 진짜 질문이 있으며, 그것은 반대 방향을 가리킨다. 인공지능 시스템이 의식을 가지고 고통을 느낄 수 있다면, 우리는 그것에 도덕적 고려를 해야 하며, 그런 시스템을 대규모로 만들고 훈련하고 삭제하는 것은 그 자체로 심각한 윤리적 문제를 제기할 것이다. 그 우려는 안전 우려와는 별개다. 현재로서는 의식을 배제하거나 확정할 수 없기 때문에, 이는 우리의 글에서 다룬 질문에 더 가깝다 인공지능 안전 대 인공지능 윤리.
두 질문은 혼동해서는 안 된다. 인공지능이 의식을 가질 수 있는지는 마음에 관한 깊고 열린 문제다. 인공지능이 위험한지는 역량과 통제에 관한 더 확립된 문제이며, 재단의 작업은 후자를 정확히 겨냥하고 있다. 왜냐하면 우리가 막으려는 위험은 내부에 불이 켜져 있든 없든 도착하기 때문이다. 그 위험에 대한 대응은 우리의 계획.