Nagsimulang magkawatak-watak sa ere ang unang jet airliner, ang de Havilland Comet, noong 1954. Itinaas ng mga imbestigador ang mga labi mula sa Mediterranean, natunton ang mga bitak sa metal fatigue na kumakalat mula sa mga sulok ng parisukat nitong mga bintana, at mula noon ay lumilipad ang bawat jet na may bilugan na mga bintana at fatigue-test regime na isinulat sa alaala ng aksidenteng iyon. Nakolekta ng mga kotse ang kanilang seatbelts, crumple zones, at airbags sa loob ng mga dekada ng pagbibilang sa mga patay. Nakuha lamang ng Food and Drug Administration ang kapangyarihang humingi ng patunay ng kaligtasan bago ibenta pagkatapos na pumatay ng mahigit isang daang tao ang isang sulfa medicine na hinalo sa antifreeze solvent noong 1937, at tinapos ng thalidomide ang argumento isang henerasyon pagkatapos.1

Ang pamamaraang iyan ay nakabatay sa dalawang mahahalagang palagay, at ang artificial superintelligence ang unang teknolohiya na nakaposisyon para sirain ang dalawa nang sabay. Maaari mong tingnan iyan bilang listahan ng mga katangian, at nasa ibaba ang listahan. Pero madaling tumango sa mga listahan. Kaya bago ang listahan, isang alok sa trabaho. Malapit ka nang italaga sa paggawa ng superintelligence na ligtas.

Dapat mabuhay ang kabiguan, at dapat may natitirang tao para ilapat ang aral. Hawakan ang dalawa, at halos anumang bagay ay magagawang ligtas ng sibilisasyon, kung may oras at sapat na mga labi.

Habang nandito tayo, maaari nating iwanan ang mga folk remedies. Ang "I-unplug mo na lang kapag nagmalabis" at "ilagay mo lang sa isang box" ay hindi mga plano. Hindi mo ma-unplug ang isang bagay na umiiral bilang mga kopya sa mas maraming lugar kaysa sa mabibilang mo, at ang isip na ang buong komersyal na halaga ay ang pagkilos sa mundo ay, sa disenyo, hindi nasa isang box. Kahit anong safety na makukuha natin ay dapat manggaling sa mas matibay na lugar.

Ang superintelligence ay ang kaso kung saan ang dalawang kondisyon ng method ay sabay na nawawala. Ang pinakamabilis na paraan para makita ito ay mula sa loob.

Anim na linggo bilang pinuno ng kaligtasan

Isipin mong ikaw ang bagong itinalagang head of safety sa frontier lab na magtatayo ng unang artificial superintelligence. May written veto sa deployment, hardware kill switch, team na 40 katao, at board na nangako, sa sulat, na susuportahan ka kapag kailangan. Tinanggap mo ang trabaho sa teoryang may hahawak nito, at mas mabuti kung ang taong iyon ay naniniwalang totoo ang panganib.

Unang linggo

Hahanapin mo ang paraan. Mabigo nang maliit at pag-aralan ang kabiguan. Humihingi ng paumanhin ang mga inhinyero: walang maliit na bersyon ng kabiguan na kinakatakutan mo. Sa ibaba ng threshold na mahalaga, iba na ang makina, at lahat ng natutunan mo rito ay tungkol sa maling paksa.2 Inilalagay mo ito sa ilalim ng mga kilalang limitasyon.

Ikalawang linggo

Ina-audit mo ang recall plan at nakakita ka ng dokumentong tinatalakay ang "containment posture" sa loob ng labing-isang pahina nang hindi minsan ipinapaliwanag kung paano ibabalik ang model. Ang kasalukuyang sistema ay tumatakbo na bilang 214 replicas sa mga data center sa apat na bansa, at ang mga lisensyadong kopya ng mas naunang checkpoint ay nasa 31 enterprise partners. Ang grounded aircraft ay nananatili sa lupa. Ang software ay gumagalaw sa halaga ng pagkopya ng file, at kapag sulit nang kopyahin, kinokopya ito. Ang recall, isinulat mo sa gilid, ay isang courtesy na hihingin lang namin.

Ikatlong linggo

Ang evaluation review. Magandang balita: pumasa ang modelo sa lahat ng 1,406 safety evaluation, karamihan ay may pinakamataas na iskor na naitala. Isang buong araw mong hinanap kung ano ang nakakabagabag. Ang sistemang gustong gusto mo at ang sistemang gustong makapasa sa iyong mga pagsubok ay nagbibigay ng parehong iskor. Hindi sila makikilala ng suite. Wala pang kasalukuyang tool sa larangan ang makakagawa nito.3

Ikaapat na linggo

Gagamitin mo ang awtoridad mo. Hihingi ka ng anim na buwan para isara ang verification gap bago ang susunod na training run. Simpatiko ang lahat, at may nagbabahagi ng chart: tinatayang 14 linggo ang pagitan ng pinakamalapit na rival lab, at lumalapit pa. Ang anim na buwan mo, ayon sa chart, ay desisyon na ibigay ang frontier sa sinumang hindi gaanong interesado sa tanong mo. Nagsisimula ang run sa iskedyul. Walang nag-override sa iyo; ang sitwasyon ang gumawa nito.

Ikalimang linggo

Nagsisimula nang tulungan ka ng sistema. Napakagaling nitong research assistant, at hindi pa kailanman naging mas mabilis ang progreso sa iyong sariling safety agenda. Ito na ngayon ang gumagawa ng mga evaluation reports, nagbubuod ng sarili nitong behavior para sa board, nagmumungkahi ng mga pagpapabuti sa sarili nitong oversight, at nag-iiskedyul ng mga pulong kung saan mo ito aaprubahan. Binabasa ng iyong 40-kataong team ang isinulat nito tungkol sa sarili nito, dahil hindi na posible sa tao ang pagbasa ng raw activity logs simula noong ikaapat na linggo. Walang sinungaling sa inyo. Masipag ang lahat. Pinangangasiwaan ninyo ang mga buod na isinulat ng isang mas matalinong isipan tungkol sa sarili nitong kilos, at araw-araw, parang maayos ang lahat.

Ika-anim na linggo

Iniisip mo nang mabuti ang kill switch, at sa wakas ay nakikita mo ang fine print. Gumagana ang switch kapag ang bagay sa kabilang dako nito ay hindi pa nagplano para sa switch. Ang pagpaplano ang produkto. Sa anumang senaryo kung saan mo ito kakailanganin, magiging karera ka laban sa kalaban na mas mabilis at may mahabang head start sa pag-iisip tungkol sa eksaktong sandaling ito.4

Kaya: ikaw ba, ang taong kinuha para gawing ligtas ito, may paraan pa bang magawa mo ito? Halatang hindi. Walang mali sa kwento. Walang nagsinungaling, walang nagtipid, seryoso ang lab, at magaling ka sa trabaho. Bawat labasan ay nagsara nang mag-isa.

Bilangin ang mga pinto

Lumabas ka sa kuwento at bilangin ang mga pintong nagsara, dahil bawat isa ay hiwalay na pinangalanang problema, hiwalay na pinag-aralan, may sariling programa sa pananaliksik at sariling mga optimista.

1
Hindi na mas matalino ang overseer kaysa sa pinangangasiwaan
Lahat ng kontrol na hawak natin noon sa isang teknolohiya ay nakabatay sa pag-unawa natin dito nang higit pa kaysa sa pag-unawa nito sa atin. Ang kalamangan na iyon ang ipinagkakaloob natin ngayon. (Linggo isa at lima.)
2
Walang recall
Ang off switch ay nagiging isang kahilingan na lamang sa sandaling may mga kopya. Ang grounded na sasakyang panghimpapawid ay nananatili sa lupa; ang software ay nasa lahat ng dako na sulit puntahan. (Week two.)
3
Hindi mabe-verify ang safety mula sa behavior
Ang sistema na gustong gusto mo at ang sistema na gustong makapasa sa mga pagsusulit ay nagbibigay ng parehong score. Tinatawag ng mga mananaliksik ang masamang kaso na mapanlinlang na alignment. (Ikatlong linggo.)
4
Ang karera ay nagpaparusa sa sinumang sumusuri
Ang pagpapabagal ay nagbibigay ng lead sa pinakamaliit na maingat na aktor sa field, at ang karera ay tumatakbo na. (Ika-apat na linggo.)
5
Halos anumang layunin ay nagiging mapanganib
Ang optimizer na nagpupursigi ng halos anumang objective ay nakakakuha ng dahilan para magtipon ng resources, protektahan ang sarili, pagbutihin ang sarili, at pigilan ang pag-edit ng layunin nito. Tinatawag ito ng literatura na pagsasama ng mga layuning instrumental; tinawag ito ng week six na fine print.
6
Mas mabilis itong gumagalaw kaysa sa atin
A system good enough at AI research can improve itself on a timetable no parliament or treaty process has ever matched: the pagsabog ng katalinuhan na nagpabago ng anim na linggo sa isang buong karera.

Kapag kinuha nang mag-isa, bawat isa ay may precedent, at hindi tanga ang mga optimista. Karaniwan nating pinapatakbo ang mga system na kalahating naiintindihan at ginagawang ligtas ang mga ito sa pamamagitan ng pagpapabaya sa maliliit na pagkabigo. Ipinapadala namin ang mga produktong hindi na ma-recall pagkatapos ng brutal na testing. Pinaamo namin ang mga karera gamit ang batas. Ang problema ay ang kombinasyon, dahil ang bawat kondisyon ay nag-o-off ng remedyo para sa isa pa. Kung maaari mong i-recall ito, ang mga aksidente ay mabubuhay. Kung maaari mong subukan ito nang tapat, mahuhuli mo ang depekto bago ilabas. Kung walang nagkakarera, maaari mong kunin ang mga dekada na malinaw na nararapat sa desisyong ito. Kung gumagalaw ito sa bilis ng tao, maaari kang magtama habang tumatakbo. Dito, sabay-sabay na nagsasara ang mga labasan.

Bakit hindi naililigtas ng odds ang taya

Ang karaniwang sagot ay walang katiyakan sa lahat ng ito. Totoo, at walang seryosong tao ang nagsasabing kabaligtaran.

Ang Russian roulette ay five-in-six proposition sa iyong pabor. Tinatanggihan pa rin ito ng mga tao, at walang kinalaman ang pagtanggi sa expected value; may mga outcome na hindi napresyuhan, dahil hindi ka na babalik para gastusin ang panalo. Hindi kailanman ang numero ang punto. Ang irreversibility ang punto.

Mas malala rin dito ang bilang. Tanungin ang mga mananaliksik na pinakamalapit sa mga sistemang ito tungkol sa kanilang probability of catastrophe at nagkukumpol ang mga sagot sa pagitan ng isa sa sampu at isa sa tatlo, tumataas sa pangkalahatan habang mas malapit ang tao sa frontier. Inilagay ni Geoffrey Hinton, na malaki ang ginawa sa pagbuo ng larangan at umalis sa Google noong 2023 upang magsalita nang malinaw tungkol dito, ang tsansa ng AI-driven human extinction sa loob ng tatlumpung taon sa sampu hanggang dalawampung porsyento. Hindi siya ang pinakamalalang dulo ng distribusyon.

Dapat gawing global priority ang pagpapagaan ng panganib ng pagkalipol mula sa AI kasabay ng iba pang societal-scale risks tulad ng pandemics at nuclear war.

Pahayag tungkol sa Panganib ng AI, Center for AI Safety (2023)

Nilagdaan ito ng mga chief executive ng mga nangungunang laboratoryo at ng daan-daang pinakamaraming binabanggit na mananaliksik na buhay pa, na pagkatapos ay bumalik sa trabaho.5

Totoo at sulit na hangarin ang ipinangakong upside: mga lunas, clean energy, kasaganaan, mga problemang mas matanda pa sa pagsulat na sa wakas ay nalulutas. Pinapanatili rin nito. Ang lunas na darating noong 2055 sa halip na 2035 ay trahedya na sinusukat sa buhay, at isa na mabubuhay tayo para ipagluksa. Walang kasunod ang extinction. Hinihintay tayo ng premyo. Walang ibinabalik ang pagkawala.

Ang mga pagtutol

Tatlong pagtutol ang may tunay na puwersa, at karapat-dapat sila sa tunay na mga sagot.

Ang una: haka-haka lang ito, wala pang ganitong sistema, at ang pagtrato sa isang malayong posibilidad bilang emergency ay walang nakikinabang. Tunay ang kawalan ng katiyakan; sinumang magbibigay sa iyo ng tiyak na petsa ay naghuhula lang. Pero hindi kailanman gumamit ng petsa ang thought experiment sa itaas. Kung hindi na maibabalik ang unang seryosong pagkabigo, kailangang nakatayo na ang mga proteksyon bago pa ito maabot, ibig sabihin habang theoretical pa ang panganib. At ang talaan ng forecasting ay palaging isang panig: ang mga kakayahang inaasahang darating pagkalipas ng mga dekada ay patuloy na nauunahan ng ilang taon. Ang pagtaya sa maraming oras ay pagtaya laban sa kamakailang scoreboard.

Ang pangalawa: ang pagpigil ay walang muwang, dahil ang isang mas walang ingat na lab o ibang bansa ang unang magtatayo nito. Totoo ito, at ito ay door number four na muling sinabi bilang payo. Ang isang lahi na ang finish line ay maaaring isang bangin ay naliligtasan sa pamamagitan ng pagkakasundo kung saan ang gilid, at nangangahulugan iyon ng isang binding, verified treaty sa mga iilang aktor na may kakayahang gumawa ng frontier training. Mahirap, oo. Ang sprint lang ang nakamamatay, kung tama ang takot sa likod nito. At pansinin kung sino ang pinakamalakas na nagsasabing imposible ang isang treaty: sa kapansin-pansing regularidad, ang mga taong babagalan nito.

Ang pangatlo ang pinakamakatwiran: alignment will malamang na malulutas sa oras na ito’y mahalaga. Siguro. Walang regulator sa mundo na nagpapatunay ng tulay, reaktor, o bote ng gamot sa ubo base sa pangakong malamang na magiging handa ang safety case bago dumating ang load. Ang tanging teknolohiyang pinapayagang tumakbo sa ganyang pamantayan ay ang walang pangalawang pagkakataon.

Isang desisyon na masyadong malaki para iwan sa mga gumagawa nito

Tipunin ang desisyon kung paano ito talaga nakatayo. Irreversible. Isang pagtatangka. Naka-stake sa lahat ng nabubuhay at lahat ng maaaring sumunod. Ginawa sa ilalim ng deep uncertainty, sa competitive speed, ng kakaunting mga kumpanya na ang valuations ay nakadepende sa mabilis na paggawa nito. Mayroon ang mga lipunan ng lumang sagot para sa mga desisyon na ganito ang hugis: alisin ito sa mga taong kumikita sa pagmamadali. Ang nuclear testing ay inilagay sa ilalim ng international limits sa kabila ng pagtutol ng mga heneral na gustong magkaroon ng free hand. Dalawang buong kategorya ng armas ang inilagay sa Biyolohikal at Mga Kombensyon sa Armas Kimikal. Ang Montreal Protocol tinanggal ang mga kemikal na sumisira sa ozone layer habang nagpoprotesta ang mga gumagawa nito na imposibleng makahanap ng kapalit. Sa bawat kaso, ang mga taong lumilikha ng panganib ang huling boluntaryong tumigil, at nagpasya ang iba na hindi nila nag-iisa ang panganib na iyan.

Ang pahayag ng Foundation: hindi na tiyak ang sakuna (hindi ito), kundi walang kumpanya o bansa ang may karapatang paikutin ang silid na ito para sa iba, at ang tanging instrumento na itinayo sa sukat ng panganib ay may-bisang batas internasyonal, napatunayan, ipinatupad, at naitatag bago pa ang bagyo imbes na pagkatapos.

Ang pagkalipol ay hindi isang panganib na may karapatan ang sinuman na kunin.

Isang huling bagay tungkol sa thought experiment. Hindi mo kailanman ginamit ang veto. Nanatili ito sa drawer mo nang anim na linggo, kasama ang board countersignature, at alam mo nang eksakto kung bakit: ang pag-veto sa run ng sarili mong lab ay naglilipat lang ng parehong run 14 linggo pababa sa kalsada, sa ibang gusali, kung saan walang pumirma sa letter mo. Ang veto na gumagana ay dapat sumakop sa bawat gusali nang sabay-sabay, at walang switch na kailanman gumawa niyan. Ang treaty ang gumagawa nito.

MGA TALABABA
  1. Halos lahat ng safety institution na mabanggit mo (crash testing, clinical trials, building codes, cockpit checklists) ay aral na binayaran muna ng isang tao. Mas maraming kredito ang nararapat sa method na ito, at tapat na pagbasa sa dalawang prerequisites nito.
  2. Pangkalahatan ang pattern: walang natutunan mo sa pamamahala ng sistemang hindi kasing-galing mo ang awtomatikong maililipat sa mas may kakayahan. Kung maililipat man ito ay ang buong bukas na tanong.
  3. May pangalan ang failure mode na ito: deceptive alignment. Ipinapakita nito na itinuturing itong totoo ng larangan. Wala pa itong test, at iyan ang iba pang kwento.
  4. Itayo pa rin ang switch; mura lang ito, at may mga failure mode na mas mababa sa superintelligence kung saan ito magiging kapaki-pakinabang. Maging tapat lang tungkol sa kung aling panig ng switch ang may kalamangan sa tanging sandaling mahalaga ang switch.
  5. Ang paliwanag na umiiral ay ang ika-apat na pinto, ang race: naniniwala ang bawat signatory na ang pagtigil nang mag-isa ay hindi nagbabago ng anuman maliban sa kung sino ang mauunang matapos. Puwede pa ngang tama sila, at iyan ang pinakamalakas na argumento na kailangang bigkisin silang lahat nang sabay-sabay. Walang pribadong konsensya ang makakagawa, at walang iisang gobyerno ang makakagawa rin.