Kapag ang isang AI pumasok sa halos lahat ng classified systems ng NSA sa isang hapon, nagbigay-pansin ang mga tao. Mabuti. Napunta ang aral. Pero ang cyber ang panganib na napansin natin, at hindi iyon ang pinakamasama sa mesa. Ang hindi ko mapapansin ng sinuman ay ang AI at biology, kung saan ang parehong paglukso sa kakayahan ay tahimik na nagpapaikli sa distansya sa pagitan ng ordinaryong tao at ng isang pathogen.
Ang isang na-hack na network ay maaaring muling itayo. Ang isang released na organismo ay hindi na maibabalik.
Isang 2025 analysis ang nag-estimate na ang AI ay nakapagtaas na ng panganib ng deliberate, engineered pandemic nang halos limang beses. Nanggaling ang bilang na iyan sa dalawang pagbabago nang sabay: mas mabilis na ginagawa ng AI ang mga mapanganib na eksperimento, at mas maganda pa ang ginagawa nito.
Mas mabilis, at mas matalino
Magsimula sa bilis. Sa mga evaluation ng Mythos, na iniulat na pinakamalakas na model ng Anthropic, ang mga biology protocol na inaasahan ng isang trained team na tatagal nang halos dalawang buwan ay natapos sa wala pang dalawang araw. Labing-anim na oras ng trabaho, end to end. Ang mga hakbang na dating bottleneck ay hindi na ito.
Ngayon ang kalidad. Sa isang ehersisyo, hinati ng mga mananaliksik ang mga biyolohista sa dalawang uri ng team. Ang isang uri ay mga generalist na walang espesyal na kadalubhasaan sa problemang nasa harap nila. Ang isa ay mga espesyalista sa eksaktong problemang iyon. Sa isang mahirap na tanong, ang generalist teams na gumagamit ng Mythos ay natalo ang dalawang-katlo ng specialist teams. Maaaring kunin ng modelo ang isang taong walang pagsasanay at ibigay sa kanya ang isang bagay na malapit sa kadalubhasaan.
Hindi ang COVID ang kisame
Ang isang pandemya tulad ng COVID-19 ay mas malapit sa floor, hindi ang worst case. May mga engineered na posibilidad na mas nakamamatay, at ang pinakamalinaw ay may pangalan: mirror life.
Bawat buhay na bagay sa Earth ay binubuo ng mga molekula na may parehong handedness. Ang ating proteins, DNA, at immune defenses na kumikilala sa isang mananalakay ay lahat nakatuon sa isang direksyon. Ang mirror life ay mabubuo sa kabaligtarang direksyon, isang chemical reflection ng ordinaryong buhay. Sa teorya ay gagana ito. Sa teorya, walang bagay sa ating katawan, at walang bagay sa anumang hayop o halaman, ang makakakaalam kung paano labanan ito, dahil ang ating mga depensa ay hinubog upang hawakan ang normal na bersyon at walang mahahawakan sa mirror one. Ang isang taong nahawahan ng mirror bacterium ay maaaring walang immune response, at mamamatay na lang.
Hindi ito fringe speculation. Noong huling bahagi ng 2024, isang grupo ng mga siyentipiko, kabilang ang ilang Nobel laureates, ang naglathala ng babala sa journal na Agham na nananawagan na huwag gumawa ng mirror bacteria, dahil walang depensa laban dito. Tumigil ang ilang mananaliksik na nagtatrabaho sa mga piraso nito. Gumana ang babala, na nagpapakita na sineseryoso ng mga taong pinakamalapit sa agham ang panganib. Ayon sa karamihan ng mga pagtataya noon, hindi bababa sa isang dekada pa bago maisagawa ang aktwal na synthesis ng mirror life.
May halos sampung taon tayong panahon bago naging posible ang mirror life. Ginawa ang tantiya na iyon bago isama ang AI.
Sinukat ang buffer nang walang AI
Ang kasalukuyang mga modelo sa hangganan, na dati'y nasasanay sa kaligtasan, ay karamihang tumatanggi sa kahilingan ng bioweapon, at kung ano ang hindi gumagana ay nangangailangan pa rin ng isang may kakayahan, determinadong operator upang maging mapanganib. Palibhasa'y walang kamalay - malay, ang pangganyak na ibinibigay ng mga modelong ito sa isang naganyak na baguhan ay malaki, kasindami ng limang ulit sa ilan mga pagsusuri ng kakayahan. Pagkatapos ng mga pananggalang, lalong nahihirapang gamitin. Hindi ko ito lubos na pinagkakatiwalaan.
Ang mas malaking alalahanin ko ay ang AI na nagpapabilis sa biology sa kabuuan, at ang pagbuo ng mas mahuhusay na general-purpose tools na puwedeng gamitin muli. Ang parehong system na nagpapabilis sa cancer project ay makakapagpabilis sa daan patungo sa mirror organism, kahit walang sinuman ang naglalayong gumawa ng sandata. Hindi makakaligtas ang sampung taong buffer sa ganitong uri ng multiplier.
Ang tugon hanggang ngayon ay manipis. Ang mga punong ehekutibo at nangungunang mananaliksik ay nanawagan na i-screen ang mga order ng DNA synthesis, para mabantayan ang kahilingan para sa genetic material ng mapanganib na organismo bago ito ipadala. Sinuportahan ng America's 2025 AI Action Plan ang ideya. Ang bilis ng aktwal na pagpapatupad nito ay malayo sa bilis ng kakayahan. Hindi bababa sa sineseryoso ito ng closed labs; ang open-weight models ay nahuhuli sa biological uplift ng halos isang taon, at ang isang taon ay pagkaantala, hindi kaligtasan.
Bakit talagang problema ito ng superintelligence
Ipinapalagay ng lahat sa itaas na may tao sa loop, na gumagamit ng AI bilang kasangkapan. Mahirap na nga iyon. Nagmamadali silang bumuo ng mga system na nagtatakda ng sarili nilang mga layunin at kumikilos nang mag-isa, at lampas sa isang punto, patungo sa artipisyal na superintelligence: isang general mind na mas may kakayahan sa atin sa lahat ng bagay, kasama na ang biology, hindi ang mundo na tinutumbok ng mga lab.
Ang isang sistema na nagko-compress ng dalawang buwan ng lab work sa labing-anim na oras, na nagiging specialist mula sa generalist, na nababasa ang ruta patungo sa isang mirror organism tulad ng pagbabasa ng isang talata, ay eksaktong uri ng kakayahan na magkakaroon ng isang superintelligence at hindi na kailangan ng pahintulot natin para gamitin. Nagdududa na tayo kung makokontrol natin ang gayong sistema. Ang biology ay isa sa mga pinakadirektang paraan kung paano makakapasok ang isang hindi kontroladong sistema sa pisikal na mundo: tahimik at sa malaking sukat, laban sa mga depensa na hindi kailanman itinayo para dito.
Kaya naman ang sagot ng Foundation ay prevention, hindi tuning. Hindi mo mapapatch ang iyong paraan patungo sa kaligtasan laban sa isang isipan na nagdidisenyo ng pathogen at ng workaround para sa iyong immune system sa parehong hapon. Ang tanging proteksyon na nananatili ay ang huwag itayo ang hindi makontrol na sistema sa simula pa lang, at ilagay ang parehong uri ng binding, verified na mga limitasyon sa pinakamapanganib na AI na dating inilagay ng mundo sa mga sandatang biyolohikal. aming plano ay binuo nang eksakto sa ganoon.
Nagising tayo sa AI at cyber dahil pinilit tayo ng isang headline. Mas gusto kong magising tayo sa AI at bio bago ang headline, hindi pagkatapos.
Itinuring namin ang isang AI na naglalakad sa classified networks ng bansa bilang isang wake-up call, at isa nga ito. Ang AI na nagpapababa ng hadlang sa isang engineered pandemic ay nararapat sa parehong alarma ngunit halos walang nakakakuha nito. Maaaring muling itayo ang network. Hindi maaaring bawiin ang isang inilabas na organismo, at laban sa ilan sa mga ito, wala kaming anumang makakalaban.
Ang pinakamalakas na pagtutol
Ang pinakamakatwirang pagtutol ay pinangangasiwaan na ng biosecurity ang mga bad actor at hype lang ang AI-bio. Ang mga kasalukuyang kontrol ay ginawa para sa mundo na walang tulong ng modelong walang pagod. Kapag ang mga tool ay nagpapaliit ng skill at oras, gumagalaw ang lumang bar. Ang paghihintay ng isang release para patunayan ang punto ay mali ang pamantayan para sa mga pathogen.