우리는 인공지능과 사이버에 눈을 떴다.
우리는 여전히 인공지능과 생물학에 대해 잠들어 있다.

인공지능이 NSA의 기밀 시스템 거의 모두에 침입했습니다 어느 한 오후에 사람들이 주목했다. 좋다. 교훈은 전달됐다. 그러나 사이버는 우리가 알아챈 위험일 뿐이며, 테이블 위 최악의 위험은 아니다. 내가 누구도 보게 할 수 없는 것은 인공지능과 생물학으로, 같은 능력 도약이 평범한 사람과 병원체 사이의 거리를 조용히 줄이고 있다.

해킹된 네트워크는 재구축할 수 있습니다. 방출된 유기체는 되돌릴 수 없습니다.

2025년 한 분석은 AI가 이미 고의적이고 조작된 팬데믹 위험을 약 5배 높였다고 추정했습니다. 그 수치는 두 가지 변화에서 나왔습니다. AI가 위험한 실험을 더 빠르게 만들고 더 정교하게 만듭니다.

더 빠르고, 더 똑똑하게

속도부터 시작하자. Anthropic의 가장 강력한 모델로 알려진 미토스 평가에서, 훈련된 팀이 약 두 달 걸릴 생물학 프로토콜이 이틀 만에 완료됐다. 16시간의 작업, 처음부터 끝까지. 예전에는 병목이었던 단계가 더 이상 병목이 아니었다.

이제 품질입니다. 한 실험에서 연구자들은 생물학자들을 두 종류의 팀으로 나누었습니다. 한 팀은 문제에 대한 특별한 전문 지식이 없는 일반주의자였고, 다른 팀은 정확히 그 문제의 전문가였습니다. 어려운 질문에서 일반주의자 팀이 미토스와 함께 작업한 결과, 전문가 팀의 3분의 2를 이겼습니다. 이 모델은 훈련이 없는 사람에게도 전문 지식에 가까운 것을 건네줄 수 있습니다.

코비드는 한계가 아니다

COVID-19와 같은 팬데믹은 최저점에 가깝고, 최악의 경우가 아닙니다. 훨씬 더 치명적인 공학적 가능성이 있으며, 가장 명확한 것은 거울 생명이라는 이름을 가지고 있습니다.

지구상의 모든 생물은 같은 손잡이성을 공유하는 분자로 만들어진다. 우리의 단백질, DNA, 침입자를 인식하는 면역 방어 체계 모두 한 방향으로 배향되어 있다. 거울 생명체는 반대 방향으로 만들어진, 일반 생명체의 화학적 반사상이다. 이론상으로는 기능할 수 있다. 이론상으로는 우리의 몸, 어떤 동물이나 식물도 그것과 싸울 방법을 알지 못한다. 우리의 방어 체계는 정상 버전을 붙잡도록 형성되어 있어 거울 버전에는 손잡이가 없기 때문이다. 거울 세균에 감염된 사람은 면역 반응을 전혀 일으키지 못하고 그냥 죽을 수 있다.

이는 극단적 추측이 아닙니다. 2024년 말 과학자 여러 명(그중 노벨상 수상자 포함)이 학술지 에 경고문을 발표했습니다 과학 거울 박테리아를 누구도 만들지 말라고 촉구하며, 이에 대한 방어가 없다는 근거를 들었습니다. 그 조각들을 향해 나아가던 여러 연구자가 멈췄습니다. 경고는 효과를 발휘했습니다. 이는 과학에 가장 가까운 사람들이 위험을 진지하게 받아들였음을 보여줍니다. 당시 대부분의 추정에서 실제로 거울 생명을 합성하는 데는 최소한 10년이 남아 있었습니다.

거울 생물이 만들어질 수 있기까지 대략 십 년의 여유가 있었다. 그 추정치는 인공지능을 고려하기 전이었다.

완충 장치는 인공지능 없이 측정되었습니다

오늘날 최전선 모델은 안전 훈련이 적용된 후 대부분 생물무기 요청을 거부하며, 통과하더라도 여전히 유능하고 결의된 운영자가 필요합니다. 안전 장치가 없다면 이 모델들이 동기가 있는 아마추어에게 주는 능력 향상은 일부 연구에서 최대 5배에 이릅니다 능력 평가. 안전장치 이후에는 사용하기가 훨씬 어려워집니다. 저는 이를 완전히 신뢰하지 않습니다.

제 더 큰 걱정은 인공지능이 생물학 전체를 가속하고, 재활용할 수 있는 더 나은 범용 도구를 구축하는 것입니다. 암 프로젝트를 단축하는 동일한 시스템이 아무도 무기를 만들려 하지 않아도 거울 유기체로 가는 길을 단축할 수 있습니다. 십 년 완충 장치는 그런 종류의 승수 앞에서 온전하지 못합니다.

지금까지의 대응은 빈약합니다. 최고경영자들과 주요 연구자들이 DNA 합성 주문에 대한 선별을 요구해 왔습니다. 위험한 유기체의 유전 물질 요청이 배송 전에 표시되도록 하자는 것입니다. 미국의 2025 인공지능 행동 계획도 이 아이디어를 지지했습니다. 실제로 실행하는 속도는 능력 발전 속도에 전혀 미치지 못합니다. 폐쇄형 연구소는 적어도 이를 진지하게 다루지만, 오픈웨이트 모델은 생물학적 향상에서 1년 정도 뒤처져 있으며, 1년은 지연이지 안전이 아닙니다.

이것이 왜 진짜 초지능 문제인가

위의 모든 내용은 인간이 루프 안에 있으며 인공지능을 도구로 사용하는 것을 전제로 합니다. 이미 충분히 어렵습니다. 스스로 목표를 설정하고 스스로 행동하는 시스템을 만드는 경쟁이 벌어지고 있으며, 특정 지점을 지나면 인공 초지능: 생물학을 포함해 모든 면에서 우리보다 더 유능한 범용 정신이며, 연구실들이 향해 가는 세계가 아닙니다.

실험실 작업 두 달 분량을 열여섯 시간으로 압축하고, 제너럴리스트를 전문가로 바꾸며, 거울 생명체로 가는 경로를 문단 읽듯 읽어내는 시스템은 초지능이 가질 법한 능력이자 우리의 허락 없이 사용할 필요가 없는 능력입니다. 우리는 이미 그런 시스템을 통제할 수 있을지 의심하고 있습니다. 생물학은 통제되지 않은 초지능이 물리적 세계에 조용히, 대규모로, 결코 대비되지 않은 방어선을 향해 손을 뻗을 수 있는 가장 직접적인 경로 중 하나입니다.

그래서 재단의 답은 조정이 아니라 예방입니다. 병원체와 면역계 우회책을 같은 오후에 설계하는 지성 앞에서는 패치로 안전을 이룰 수 없습니다. 유효한 유일한 보호는 통제 불가능한 시스템을 만들지 말라 애초에 그런 기구를 만들고, 세계가 한때 핵무기에 부과했던 것과 같은 구속력 있고 검증된 제한을 가장 위험한 인공지능에 적용하는 일이다 생물학 무기. 우리의 계획 정확히 그것을 중심으로 구축되었습니다.

우리는 헤드라인이 강요해서 인공지능과 사이버를 깨달았습니다. 저는 헤드라인 이전에 인공지능과 생물을 깨닫고 싶습니다.

가장 강력한 반발

가장 타당한 반론은 생물보안이 이미 악의적 행위자를 감시하고 있으며 인공지능-생물은 과장이라는 것이다. 기존 통제는 지칠 줄 모르는 모델 지원이 없는 세상을 위해 만들어졌다. 도구가 기술과 시간을 압축하면 기존 기준은 바뀐다. 공개를 기다려 증명하는 것은 병원체에 대한 잘못된 기준이다.