Noong 1965, ang British mathematician I.J. Good (a codebreaker who had worked alongside Alan Turing at Bletchley Park) wrote a single paragraph that has shaped six decades of thinking about artificial intelligence. It is worth quoting in full.
Maaaring tukuyin ang ultraintelligent machine bilang machine na kayang higit na malampasan ang lahat ng intellectual activities ng sinumang tao kahit gaano pa kagaling. Dahil ang pagdidisenyo ng mga machine ay isa sa mga intellectual activities na ito, ang ultraintelligent machine ay makakapagdisenyo ng mas mabubuting machine pa; walang duda na magkakaroon ng 'intelligence explosion,' at maiiwan nang malayo ang katalinuhan ng tao. Kaya ang unang ultraintelligent machine ang huling imbensyon na kailangan pang gawin ng tao.
Irving John Good, "Speculations Concerning the First Ultraintelligent Machine," 1965
Nakita ni Good ang isang bagay na madalas na hindi napapansin sa karamihan ng mga talakayan tungkol sa AI. Ang panganib ay nasa disenyo ng intelligent machines na mismo isang cognitive task, at kaya naman ang makina na mahusay sa cognitive tasks ay mahusay sa pagbuo ng mas mahuhusay na makina, hindi lamang na maaaring maging mas matalino kaysa sa atin ang isang makina. Iyan ay isang feedback loop. At ang mga feedback loop, kapag ang output ay nagpapakain sa input, ay hindi gumagalaw sa mga tuwid na linya. Pinapabilis nila.
Ano talaga ang ibig sabihin ng "recursive self-improvement"
Ang engine ng isang intelligence explosion ay paulit-ulit na pagpapabuti sa sarili. Pinapahusay ng isang AI ang sarili nitong kakayahan sa pamamagitan ng muling pagsulat ng code nito, pagpipino ng training process, muling pagdidisenyo ng arkitektura, o pagtuklas ng mas mabubuting reasoning strategies, at pagkatapos ay inilalapat nito ang mas malaking kakayahang iyon sa gawain ng muling pagpapabuti sa sarili.
Ang salitang nagdadala ng bigat dito ay rekursibo. Ang ordinaryong teknolohikal na pag-unlad ay improvement: mas maganda ang modelong ito kaysa sa nakaraang taon. Ang recursive self-improvement ay improvement sa loob ng kakayahang mapabuti. Hindi lang nagsisimula ang bawat iteration mula sa mas mataas na antas ng kakayahan; nagsisimula ito sa isang mas may kakayahang improver. Hindi fixed ang rate ng progreso. Ang rate mismo ang bumibilis.
Isang magaspang na paghahambing ay compound interest, pero kahit iyon ay kulang pa. Sa compound interest, pare-pareho ang growth rate; ang base lang ang lumalaki. Dito, ang growth rate mismo ay nagko-compound. Isang sistema na nagiging 10% mas mahusay sa self-improvement bawat cycle, at pagkatapos ay mas mabilis na nagpapatakbo ng susunod na cycle dahil mas may kakayahan ito, ay mabilis na makakapunta mula sa incremental patungo sa explosive.
Mabagal na takeoff versus mabilis na takeoff
Dito nakatira ang debate na mahalaga. Lahat sa larangan ay sumasang-ayon na posible sa prinsipyo ang recursive self-improvement. Ang hindi nila pagkakasundo ay bilis ng takeoff, gaano katagal ang transisyon mula sa human-level AI patungo sa radically superhuman AI. Ang sagot ang magtutukoy kung posible ba talaga ang pamamahala.
Mabagal na takeoff
Sa slow-takeoff scenario, nagaganap ang transition sa loob ng mga taon. Patuloy at malinaw na umuunlad ang mga kakayahan. May mga babala, intermediate systems, at oras para sa mga market, regulator, at publiko na tumugon. Maaaring mabuhay ang mga pagkakamali dahil may pagkakataong mapansin at maitama ang mga ito. Sa mundong ito, may pagkakataon ang ordinaryong makinarya ng governance (hearings, legislation, treaties, iterative regulation) na makasabay.
Mabilis na takeoff
Sa fast-takeoff scenario, nagaganap ang transition sa loob ng ilang buwan, linggo, o posibleng araw. Kapag nagagawa na ng AI ang karamihan sa frontier AI research mismo, hindi na ito nakatali sa human timelines, walang pangangailangan sa tulog, walang coordination overhead, libu-libong kopya ang sabay-sabay na gumagana sa machine speed. Mabilis na maaaring lampasan ng sistema ang human-comparable range kaya’t sa oras na may makakilala sa nangyayari, ang pinakamakapangyarihang sistema sa mundo ay wala na sa human oversight. Sa mundong ito, walang oras para magpulong ng summit. Ang mga desisyong mahalaga ay yaong ginawa bago nagsimula ang loop.
Ang kamakailan, malawakang tinalakay na Timeline ng AI forecasts mula sa loob ng mga lab at ng forecasting community ay lalong naglalarawan ng eksaktong istrukturang ito: isang panahon kung saan ang mga AI system ay nag-o-automate ng AI research, na sinundan ng matinding acceleration. Kung ang acceleration na iyon ay dalawang taon o dalawang buwan ang trillion-dollar uncertainty.
Bakit ang bilis ay problema sa governance, hindi lang teknikal
Halos lahat ng safety measure na inaasahan ng sangkatauhan ay umaasa sa oras. Ang recalls ay umaasa na matutukoy mo ang depekto at mabawi ang produkto. Ang arms control ay umaasa sa negosasyon sa pagitan ng mga kapantay na kapangyarihan. Ang regulation ay umaasa sa paulit-ulit na loop ng obserbasyon, batas, at pagbabago. Ang mabilis na intelligence explosion ay sinisira ang lahat ng ito dahil binabagsak nito ang panahon kung saan maaaring mangyari ang obserbasyon at tugon.
Isipin kung ano ang magagawa ng fast takeoff sa karaniwang mga katiyakan:
- "I-off na lang namin ito." Isang sistema na bumibilis sa bilis ng makina ay may parehong insentibo at, malamang, ang paraan para pigilan iyon, ang suliranin sa corrigibility. At hindi mo mapapatay ang hindi mo pa napapansin na nakatawid na sa linya.
- "Ire-regulate namin 'yan kapag malinaw na mapanganib na." Pagdating sa punto na malinaw na mapanganib, sarado na ang window para kumilos. Ang mga kasunduan ay tumatagal ng taon; ang mabilis na takeoff ay tumatagal ng linggo.
- "Itatama ng merkado." Nababawi ang mga merkado pagkatapos ng pagkabigo. Pero ang misaligned superintelligence ay isang pagkabigo na hindi mo na maibabalik.
Kaya rin nitong dahilan kung bakit lalo pang pinatalas ng intelligence explosion ang dinamika ng karera na nag-uudyok na sa mga developer na unahin ang bilis kaysa sa pag-iingat. Kapag mabilis ang takeoff, ang unang mag-trigger ng loop ang makakakuha ng tiyak at permanenteng kalamangan, at iyan mismo ang insentibo na nagpapabilis sa hindi ligtas na pagmamadali ng isang panig. Walang kumpanyang kayang magpabagal kung hindi rin gagawin ng mga kakumpitensya. Ito ay coordination failure, at ang mga ganitong problema ay nalulutas ng mga binding framework, hindi ng mabuting hangarin.
Ang pagtutol: baka huminto ito sa pagtaas
Ang ilang mga mananaliksik ay nangangatwirang ang self-improcement ay tatama sa unti-unting pagbabalik, na ang katalinuhan ay tumatakbo sa mga hard limit (data, pisika, ang kahirapan ng mga natitirang problema) na nagreresulta sa kurba tungo sa isang mabagal, may sapat na pag-akyat.
Pero pansinin ang istruktura ng taya. Kung tama ang mga nagdududa at mabagal ang takeoff, magiging gastos lang sa atin ang pagbuo ng governance frameworks nang maaga—kaunting kahusayan at oras. Kung mali sila at mabilis ang takeoff hindi ang pagbuo ng mga framework nang maaga ay nag-aalis sa atin ng kakayahang idirekta ang pinakamahalagang pangyayari sa kasaysayan ng sangkatauhan. Limitado ang downside ng paghahanda para sa mabilis na takeoff na lumalabas na mabagal. Hindi limitado ang downside ng pag-aakala na mabagal ang takeoff kapag lumabas na mabilis. Dahil sa asymmetry na ito, ang makatwirang hakbang ay maghanda para sa mas mabilis na senaryo kahit na mas mababa ang tingin mong posibilidad, alinsunod sa expected-value logic na tinalakay namin sa aming artikulo tungkol sa P(doom).
Ano ang Kahulugan Nito para sa Plano
Ang intelligence explosion ang dahilan kung bakit nangangatwiran ang Nakada Foundation na kumilos bago superintelligence ay umiiral, imbes na pagkatapos. Kapag mabilis ang takeoff, ang mga governance frameworks naman ang, mga kontrol sa compute, isang international monitoring agency, at isang binding treaty para ihinto ang frontier development, ay kailangang itayo habang mayroon pa ring interval kung saan maaari itong ipatupad. Hindi mo mai-install ang preno habang nasa gitna ng crash. Ang aming plano is designed for a world where the window between "powerful" and "uncontrollable" ay maaaring napakaikli, at ang tanging maaasahang sandali para kumilos ay ngayon, habang tao pa rin ang gumagawa ng mga desisyon.