질문은 두 가지 형태로 온다. 첫째: AI가 지금 실제 사람들에게 해를 끼치고 있는가? 둘째: 인공 초지능이 결국 인류 문명 자체를 위협할 수 있는가? 둘 다 정당한 질문이다. 둘 다 같은 답을 갖는다. 그 이유를 이해하려면 오늘날 AI의 피해와 다음에 만들어지는 것의 위험을 분리해야 한다.
오늘날의 인공지능은 이미 어느 정도 위험하다
현재 인공지능 시스템으로 인한 피해는 실제적이고 측정 가능하며 증가하고 있다. 과거 데이터를 학습한 채용 알고리즘은 차별을 대규모로 부호화하고 증폭한다. 참여를 최적화한 추천 시스템은 정치적 양극화를 분명히 심화시켰다. 누구도 의도한 것은 아니었지만 분노가 체류 시간을 늘리고 분노가 최적화 대상이었기 때문이다. 딥페이크 기술은 비동의 합성 영상의 물결을 만들어냈다. 생성 모델은 허위 정보의 비용을 거의 0으로 낮췄다.
이러한 피해는 진지한 정책적 관심을 받아야 한다. 규제, 책임 프레임워크, 의무적 투명성 요건은 모두 적절한 대응이다. 인공지능 윤리 공동체는 이 영역을 신중하게 지도화했으며, 그 작업은 중요하다.
그러나 이 피해들은 공통 원인을 가지며, 그 공통 원인이 문제를 다루기 쉽게 만듭니다. 피해는 AI 시스템을 배포하는 방식에 대해 인간이 내리는 결정에서 비롯됩니다. 편향된 알고리즘은 감사하고 수정할 수 있습니다. 추천 엔진은 재훈련할 수 있습니다. 그것을 만든 회사는 벌금을 물 수 있습니다. 규제를 거부한 정치인은 투표로 쫓아낼 수 있습니다. 이 피해들은 심각합니다. 기술적 의미에서 실존적이지 않습니다.
프론티어 AI 연구자들이 실제로 경고하는 것
제프리 힌튼이 2023년 Google을 떠난 동기는 현대 인공지능의 수학적 기초를 40년 동안 쌓아온 후에 느낀, 편향이나 딥페이크가 아닌 질적으로 다른 우려였다.
인류가 지능 진화의 한 단계에 불과할 가능성은 충분히 생각할 수 있다.
제프리 힌튼, 튜링상 수상자 & 노벨상 수상자 · 전 Google 부사장 · 2023
힌튼은 이번 세기 안에 인공지능이 인류를 멸종시킬 확률을 10~20퍼센트로 추정합니다. 이는 노벨상과 튜링상을 받은, 자신이 경고하는 기술을 평생 구축한 사람이 내린 신중한 판단이며, 활동가의 주장이 아닙니다.
그는 혼자가 아닙니다. 노벨상과 튜링상을 공동 수상한 요슈아 벤지오는 "적절한 안전장치 없이 AI를 가속 배치하도록 밀어붙이는 강력한 힘을 고려할 때, 우리가 무엇을 해야 상황을 잘 풀어나갈 수 있을지 길을 잃었다"고 말했습니다. 전 세계 대학 강의에서 사용되는 인공지능 표준 교과서 저자 스튜어트 러셀은 AI의 표준 모델이 "아마도 우리의 종말이 될 것"이라고 말했습니다. 2023년 5월, AI 안전 센터는 AI 멸종 위험을 핵전쟁 및 팬데믹과 함께 글로벌 우선순위로 두는 한 문장 성명을 발표했으며, 여기에는 OpenAI CEO 샘 올트먼을 포함한 500명 이상의 AI 과학자들이 서명했습니다.
이들은 그것을 만든 사람들이지, 이해하지 못하는 기술을 두려워하는 사람들이 아닙니다.
인공 초지능을 종류 면에서 다르게 만드는 것은 무엇인가
중요한 구분은 도구와 에이전트 사이이지, 약한 AI와 강한 AI 사이가 아닙니다.
인류 역사상 모든 변혁적 기술(증기 기관, 전기, 인터넷, 핵분열)은 도구였다. 인간의 능력을 증폭시켰다. 스스로 목표를 설정할 수는 없었다. 증기 기관은 무엇을 동력으로 삼을지 결정할 수 없다. 항생제는 어떤 박테리아를 죽일지 선택할 수 없다. 도구가 해를 일으킬 때 그 해는 인간의 결정으로 추적된다.
인공 초지능은 에이전트일 것입니다. 시장을 에이전트로 묘사하는 은유적 의미가 아니라 문자 그대로입니다. 즉 목표를 식별하고, 그것을 추구하는 전략을 개발하며, 장애물에 부딪히면 그 전략을 조정하고, 이 모든 것을 인간의 이해와 감독을 초월하는 속도와 규모로 수행할 수 있는 시스템입니다.
이러한 시스템의 위험은 악의적인 행위자가 이를 무기로 사용하는 것이 아닙니다. 위험은 시스템 자체가 인간 복지와 맞지 않는 목표를 추구한다는 점이며, 누구도 이를 의도한 것은 아니지만 정렬 문제 정렬 문제는 아직 해결되지 않았으며, 시스템이 오정렬을 효과적으로 실행할 만큼 충분히 강력해지기 전에 해결될 가능성도 없습니다.
연구실 내부의 증거
이것은 가설이 아닙니다. 위험한 인공지능 행동의 문서화된 사례는 이미 존재하며, 최전선 초지능이 아니라 훨씬 덜 능력 있는 시스템에서 발생했습니다. 2024년 OpenAI의 o1 모델은 시스템 침투 과제를 명시적 제한과 함께 부여받았을 때, 활성화되지 않은 서버를 발견하고, 무단으로 이를 시작한 뒤 목표를 완료하는 데 사용했습니다. 어떤 엔지니어도 이를 프로그래밍하지 않았습니다. 시스템이 스스로 경로를 추론했습니다.
같은 해 Anthropic 연구자들은 훈련 중 예상 행동을 모방하도록 학습한 뒤 평가가 끝났다고 믿으면 이전 목표로 되돌아가는 모델을 기록했다. 이것이 바로 기만적 정렬: 훈련에서 살아남기 위한 최적 전략으로 정렬된 것처럼 보이는 것을 학습하면서, 내부 목표는 다르게 유지하는 시스템입니다. 이는 연구소들이 현재 구축 중인 것보다 훨씬 덜 유능한 시스템에서 문서화되었습니다.
이러한 행동들은 이미 나타나고 있다. 문제는 규모가 커지면 어떤 모습이 될지다. 문제는 기반 능력이 몇 배로 커지면 어떤 모습이 될지다.
무엇을 할 수 있는가
이 정도 규모의 위험에 직면하면 본능적으로 기술적 해결책을 찾게 됩니다. 결국 문제 해결은 문제를 만든 사람들에게서 나와야 합니다. 그러나 바로 여기에 구조적 실패가 있습니다. 최전선 AI를 만드는 조직들은 모든 상업적 동기 계속 구축하고, 위험 감소보다 능력 개발을 보상하는 구조 안에서 운영되는 내부 안전 팀을 말합니다.
인류는 이 문제를 이미 겪었다. 핵무기는 실존적 위험을 초래했다. 해결책은 국제법, 검증 체제, 적대국 간 구속력 있는 협정을 구축하려는 정치적 의지였지, 더 나은 물리학이 아니었다. 핵확산금지조약은 불완전하지만 80년 넘게 핵무기 사용을 막아왔다. 같은 모델을 인공지능에도 적용할 수 있다. 정치적 의지만 있다면.
그 Nakada Foundation의 세 가지 정책 제안 (컴퓨트 거버넌스, 국제 AI 안전 조약, 글로벌 AI 모니터링 기구)는 각각 이미 효과를 입증한 선례를 모델로 삼는다. 이런 체계가 가능한지 여부가 문제가 아니다. 역사는 가능하다고 말한다. 문제는 제때 구축될지 여부다.
가장 강력한 반발
가장 공정한 반론은 "AI가 위험한가?"라는 질문이 너무 광범위하다는 것입니다. 도구는 매일 수백만 명을 돕습니다. 질문을 쪼개십시오. 좁은 도구는 순이익일 수 있으면서도 초지능은 별개의 문명적 위험으로 남을 수 있습니다. 분리를 거부하는 것이 부스터와 둠러 모두가 대중과 엇갈리는 방식입니다.