반복해서 나오는 반대 의견들. 대화에서 사용한 후 전체 논의를 보려면 링크를 따라가세요.
쉬운 영어로 설명한 AI 안전 위험
초지능이 무엇인지, 왜 위험한지, 그리고 이에 대해 무엇을 할 수 있는지를 전문 용어 없이 설명한다. 이 주제에 대한 가장 명확한 한 페이지 소개다.
과학적 합의
노벨상 수상자, 튜링상 수상자, AI를 실제로 만든 고위 연구자들의 주요 발언과 2014년부터 오늘까지 이어진 전문가 경고의 연대기입니다.
정책 입안자를 위한 간략한 설명서
국제 인공지능 안전 거버넌스의 사례: 문제점, 기존 체계가 불충분한 이유, 그리고 정부가 지금 취할 수 있는 구체적 조치를 성공한 선례에 따라 모델링한 내용입니다.
지지자들을 위한 요점
인공지능 안전 우려에 대한 가장 흔한 다섯 가지 반대 의견과, 회의론자·정책 입안자·동료와의 대화에서 정확하고 자신 있게 답하는 방법입니다. 회의론자, 정책 입안자, 동료와의 대화를 위해 작성했습니다.
초지능, 네 개의 인포그래픽
초지능의 위험, 거버넌스 공백, 행동이 가능하다는 역사적 선례, 그리고 구속력 있는 국제 AI 조약이 반드시 담아야 할 내용을 다룬 시각 자료 한 장짜리 자료 네 점입니다.
간단한 시각 자료
멸종 확률 추정치, 투자 거버넌스 격차, 글로벌 행동이 효과적임을 보여주는 조약 선례, 구속력 있는 AI 조약의 요건을 담은 네 개의 시각 카드.
일시 중지가 아닌 예방
일시적 둔화는 잘못된 요구입니다. 좁은 인공지능은 계속 작동시키되 초지능은 영구 금지해야 한다는 근거.
초지능을 절대 만들지 말라
비가역성, 잘못 정렬된 목표, 그리고 제작자보다 더 똑똑해진 시스템에서 '나중에 고치자'는 왜 실패하는가. 한 페이지에 담긴 거부 사례.
중국 경쟁 신화
만약 우리가 속도를 늦추면 중국이 이긴다는 주장이 아무도 이길 수 없는 경쟁을 어떻게 묘사하는지, 그리고 이를 검증으로 대응하는 방법.
인공지능은 유지하되. 초지능은 막으세요.
유용한 좁은 도구와 자율적인 일반 정신 사이의 명확한 경계. 도구에는 찬성; 우리가 통제할 수 없는 정신에는 ASI 반대.
조약이 어떻게 검증될 수 있는가
가중치를 감시하는 것이 아닙니다. 하드웨어를 감시합니다. 칩 추적, 클러스터 허가, 사찰, 파운드리 규칙을 평이한 한국어로 설명합니다.
구속력 있는 AI 조약이 반드시 포함해야 할 것
진짜 합의와 보도자료를 구분하는 여섯 가지 조항: 금지, 연산 자원 통제, 사찰 기관, 국내법, 예외 조항, 그리고 증거에 의한 수정만.
정렬은 계획이 아니다
기술 안전 연구는 중요하다. 그러나 그것이 경쟁을 계속해도 좋다는 허가증은 아니며, 우리가 가진 자금은 모두 그곳으로 보내야 한다. 예방이 우선이다. 상업적 압박 없이 진행되는 연구가 필요하다.
5분 만에 설명하기
음성 대화 대본: 개발자들의 경고, 초지능이 무엇인지, 플러그를 뽑는 것이 왜 실패하는지, 중국 변수, 그리고 행동으로 이어지는 깔끔한 마무리.
이번 주에 할 수 있는 일
개인적 영향력, 정치적 영향력, 한 시간 모드, 플랫폼 모드를 위한 구체적인 점검 목록. 두 가지를 선택하십시오. 끝내십시오.
1분 브리핑
정책 입안자용 자료: 세 가지 통계, 세 가지 요청, 예방 프레임, 그리고 중국 반대 의견을 직원용 길이로 답변.
안전 자금 격차
안전 분야에 약 1억 9천만 달러, 역량 분야에 2,500억 달러 이상. 얇은 안전 예산이 어디로 가는지, 그리고 보여주기 대신 무엇을 지원해야 하는지.
스마트 시스템이 통제를 거부하는 이유
전문 용어 없이 설명한 도구적 수렴: 자기 보존, 자원, 편집 저항, 그리고 더 똑똑해지는 것은 평범한 최적화 압력이다.
이 사이트의 설명 자료에서 추린 열두 장의 포스터.
매년 약 1억 9천만 달러가 인공지능 안전 분야, 즉 연구·평가·정책·옹호를 합쳐 유입됩니다. 가장 최근의 공개 추정치를 바탕으로 자금 출처와 지출 내역을 전환해 보세요.
- Open Philanthropy굿벤처스 지원; 분야 최대 단일 자금 제공자 $50M 26%
- 최전선 연구소 내부 안전 팀Anthropic, OpenAI, Google의 안전 연구 예산 DeepMind $35M 18%
- Survival & Flourishing FundJaan Tallinn이 후원하는 보조금 라운드; 두 번째로 큰 자선 재원 $30M 16%
- UK 정부인공지능 보안 연구소, ARIA의 안전장치 인공지능 프로그램 $30M 16%
- 기타 자선 활동 및 개인 기부자롱뷰 필란트로피, 장기미래기금, 개인 기부자 $25M 13%
- US, EU 및 기타 정부NIST CAISI, EU AI Office, NSF 안전 프로그램 $20M 11%
수치는 공공 자료에서 수집한 2023~2025년 중간값 추정치이며 반올림한 것입니다 인공지능 안전 기금 개요 (2025년 초 업데이트), 80,000 Hours, 하나의 Open Philanthropy의 보조금 데이터베이스 분석, 그리고 자선 활동 내부. 연간 총액은 집계 기준에 따라 대략 1억 1천만 달러에서 2억 5천만 달러 사이로 보고됩니다. 용도별 차트는 각 기부자의 보조금을 범주별로 분류하고 기부자 간 합계를 낸 것이며, 전체 산출 과정은 자금 격차에 관한 우리의 기사.
초지능 경쟁에 참여하는 모든 주요 행위자를 궤적별로 분류: 방지, 규제, 또는 개발.
이 논쟁에서 쓰이는 용어들의 평이한 정의: 초지능, 정렬, 도구적 수렴 등.
이 문구들 중 아무거나 복사해 바로 게시하세요. 각 문구는 검증된 과학과 전문가 합의에 기반합니다.
AI를 만든 과학자들이 그것을 두려워합니다. 제프리 힌튼은 Google를 떠나 우리에게 경고했습니다. 요슈아 벤지오는 이를 "인류 역사상 가장 변혁적이며 잠재적으로 위험한 기술"이라고 불렀습니다. 이것은 공포 조장이 아닙니다. 과학적 합의입니다. nakadafoundation.org/the-threat/
초지능에는 롤백이 없습니다. 패치도 없고 버전 2도 없습니다. 인간 생존에 반하는 행동을 하는 오정렬 ASI는 사후에 바로잡을 수 없습니다. 우리는 그것이 도착하기 전에 바로잡아야 하며, 도착한 뒤에 바로잡을 수 없습니다. 이것이 인공지능 안전이 시급한 이유입니다. nakadafoundation.org
우리는 핵무기를 만들고 나서 세계 비확산 조약을 만들었습니다. 오존층을 파괴하고 나서 염화불화탄소를 금지했습니다. 우리는 실존적 위협에 대응할 수 있습니다. 다만 충분한 사람들이 요구할 때만 그렇습니다. 인공지능 안전은 이 세대의 결정적 순간입니다. nakadafoundation.org/precedent/
인공지능 연구소들은 전 세계 거버넌스 없이 인간 지능을 넘어설 무언가를 만들기 위해 경쟁하고 있습니다. 행동할 시간은 줄어들고 있습니다. 이 메시지를 공유하세요. 의원에게 연락하세요. 정책의 창은 지금 열려 있습니다. 영원히 열린 채로 있지는 않을 것입니다. nakadafoundation.org/take-action/
미래에 대한 생각을 바꾼 이야기를 나누고 싶습니다. AI를 만드는 과학자들은 단순히 흥분한 것이 아닙니다. 그들은 두려워합니다. 신경망 연구로 노벨상을 받은 제프리 힌튼은 Google을 떠나 대중에게 경고하기 위해 나섰습니다. 또 다른 노벨상 수상자이자 AI의 창시자 중 한 명인 요슈아 벤지오는 “어떻게 하면 잘 될지 막막하다”고 말했습니다. 이들은 활동가가 아닙니다. 이 기술을 만든 사람들입니다. 우리는 AI 시스템이 모든 영역에서 인간 지능을 넘어설 수 있는 순간에 다가가고 있으며, 다음에 일어날 일에 대한 국제 거버넌스 체계는 없습니다. 조약도, 검증 기구도, 핵무기에 대해 구축한 것과 같은 어떤 것도 없습니다. Nakada Foundation to Save Humanity는 이를 바꾸기 위해 노력하고 있습니다. 자세히 보기: nakadafoundation.org #AISafety #ExistentialRisk #AIGovernance #Superintelligence
기술, 정책, 금융 분야 종사자를 위한 사고 실험: 인류 역사상 모든 인간보다 더 지능적인 시스템을 상상해 보십시오. 수천 개의 동시 인스턴스를 실행하며, 자체 코드를 개선하고, 우리가 의도하지 않았을 수 있는 목표를 추구합니다. 이것이 바로 선도 AI 연구소들이 수년 단위로 측정되는 타임라인으로 명시적으로 추구하는 목표입니다. 공상 과학이 아닙니다. 문제는 그것이 일어날지 여부가 아닙니다. 문제는 그것이 일어날 때 거버넌스가 마련되어 있을지입니다. Nakada Foundation는 핵무기에 대해 구축한 것과 동등한 AI 안전에 대한 국제 조정을 옹호합니다. 이러한 선례는 존재합니다. 우리는 이를 할 수 있다는 것을 압니다. 필요한 것은 정치적 의지입니다. nakadafoundation.org/our-plan/ #AIPolicy #TechEthics #AIRisk #FutureOfWork
제목: 인공 초지능 개발 금지를 위한 조치를 취해 주십시오 [의원님 성함] 의원님께, 저는 유권자로서, 인공 초지능 개발 경쟁이 돌이킬 수 없는 지경에 이르기 전에 조치를 취해 주시기를 간곡히 요청드립니다. 초지능은 인간이 통제할 수 없습니다. 유일하게 신뢰할 수 있는 통제 수단은 그것을 만들지 않기로 결정하는 것입니다. 인공지능을 개발한 과학자들이 경고하고 있습니다. 제프리 힌튼과 요슈아 벤지오(현대 인공지능의 기초를 만든 노벨상 수상자)는 초지능이 인류에게 실존적 위험을 초래한다고 공개적으로 밝혔습니다. OpenAI의 CEO 샘 올트먼 역시 자사 기술의 위험성을 인정한 성명에 서명했습니다. 현재 인공 초지능 개발을 금지하는 법적 규제는 전혀 없습니다. 조약도 없고, 검증 기구도 없습니다. 연구소들은 누구도 통제할 수 없는 지능을 향해 핵무기나 화학물질에 적용되는 법과 같은 규제 없이 경쟁하고 있습니다. 저는 의원님께 다음을 요청합니다: • 인공 초지능 개발에 대한 영구적인 법적 금지를 지지해 주십시오 • 검사와 검증이 포함된 ASI 금지 국제 조약을 추진해 주십시오 • 최대 규모 학습 실행과 전용 칩에 대한 정부 권한을 부여해 주십시오 우리는 이전에도 실존적 위협에 대응해 왔습니다. 핵확산금지조약, 몬트리올 의정서. 지금 이 순간에도 같은 정치적 용기가 필요합니다. 감사합니다. [성함] [도시, 주] --- 자세히 보기: nakadafoundation.org