Ang pagpigil sa superintelligence ay hindi nangangahulugang sirain ang bawat chip o wakasan ang machine learning. Ito ay nangangahulugang legal at praktikal na pagbabawal sa pagbuo ng artificial superintelligence. Ang superintelligence ay hindi kayang kontrolin ng mga tao. Ito ay permanenteng pagbabawal, hindi timed pause na magtatapos sa parehong karera.
Ano ang dapat tumigil vs ano ang dapat magpatuloy
Dapat magpatuloy ang narrow AI na nagfo-fold ng protina, nagbabasa ng scan, nag-o-optimize ng logistics, at nananatili sa loob ng bounded domain. Ang target ay general, recursively improving superintelligence at ang mga programang naglalayon dito, na sinala sa pamamagitan ng compute thresholds, capability tests, at research rules. Ang mga kritiko na nagsasabing "gusto nilang ipagbawal ang AI" ay nagbebenta ng paninira na nagpoprotekta sa karera.
Bakit Hindi Sapat ang mga Pangako ng Lab
Maaaring ibunyag ng responsible scaling policies at multi-lab pledges ang intensyon. Nabigo ang mga ito bilang pangunahing control system. Ang parehong kompanya ang sumusulat ng patakaran, nagpapatakbo ng mga pagsusuri, humahatol sa mga resulta, at kumikita sa pagpapadala. Sa ilalim ng kompetisyon, yumuyuko ang internal rules. Kailangang magbigay ng ngipin ang external law. Tingnan ang kusang-loob na mga pangako.
Ang hagdan ng pagpapatupad
Isipin ang isang hagdan sa isang bangin.
Kagustuhan ng publiko sa pundasyon: mga taong kayang pangalanan ang hinihingi at parusahan ang mga lider na nag-aalok lang ng innovation theater.
Batas at ahensya sa loob ng bansa: lisensya para sa malalaking training run, kriminal at sibil na pananagutan para sa sinasadyang ASI development, evaluation bodies na may tunay na access, proteksyon para sa mga whistleblower.
Mga chip at ulap: export controls, cluster know-your-customer, power at data-center visibility. Pisikal ang hardware. Iyan ay isang tampok para sa pamamahala. Tingnan ang pamamahala sa compute.
Kasunduan ng koalisyon: isang pangunahing pangkat ng mga estado na sumasakop sa karamihan ng frontier capacity, na may numeric annexes, hindi lang mga prinsipyo. Normal ang pagdududa; umiiral ang verification para hindi kailanganin ng mga partido ang pagkakaibigan. Tingnan ang disenyo ng kasunduan at NPT mga aralin.
Institusyon ng pagpapatunay: mga inspektor, iskedyul ng FLOP, pag-uulat ng insidente, awtoridad na mag-trigger ng mga kahihinatnan. Isipin ang kapasidad na parang IAEA para sa mga data center at training, hindi isang talk shop.
Nakatayong kondisyon ng pagbabawal: muling buksan lamang kapag malinaw na pinahintulutan ng independiyenteng agham at ng publiko sa ilalim ng mga institusyong hindi hawak ng mga lab.
Bawat baitang ay sumusuporta sa susunod. Mga summit na walang patakaran sa compute, o patakaran sa compute na walang suporta ng publiko, ay nag-iiwan sa pag-akyat na hindi tapos.
Kalahati ng problema ay domestic politics
Sa Estados Unidos, hindi nagbubuklod ang magandang Geneva text nang walang landas sa Senado o sa pamamagitan ng mga statute at congressional-executive agreements na maaaring maipasa. Disenyuhin ang instrument set pabalik mula sa mga boto na maaaring mapanalunan. May sariling ratification traps ang ibang bansa. Laktawan ang domestic design at makakakuha ka ng press releases. Tingnan ang ang two-thirds problem.
Ang China, mga karibal, at ang dahilan ng karera
Ang dominanteng dahilan para sa walang limitasyong scaling ay: kung magpapabagal tayo, hindi sila. Ang shared vulnerability ay may dalawang panig. Ang isang uncontrollable superintelligence ay isang paraan para mawala ang bansa habang binabati ang watawat, hindi isang national asset. Ang verification, hardware denial, at mutual exposure ng breakout programs ay umiiral para sa mga karibal na hindi nagtitiwalaan. Tingnan ang ang mito ng karera at US-China na kooperasyon.
Buksan ang weights
Ang mga high-end open general weights ay lumilikha ng landas ng paglaganap na bahagyang lang tinutugunan ng export controls. Kapag naging pampubliko ang weights, wala nang central recall. Ituring ang high-end general releases bilang mga desisyon sa paglaganap, hindi ordinaryong product launches. Tingnan panganib ng open-source weights.
Ano ang Magagawa Mo
Itugma ang aksyon sa iyong abot.
Mga Botante: makipag-ugnayan sa mga kinatawan na may hiling na may-bisang pagbabawal, hindi lang malabong "mag-ingat." Mga kawani: draft ng licensing at evaluation bills na may numeric triggers. Mga Nagbigay: nagpopondo ng adbokasiya na nakakaimpluwensya sa mga boto at teksto ng kasunduan. Mga Siyentipiko: i-endorso ang permanenteng pagbabawal at tumulong sa pagdidisenyo ng verification. Mga empleyado ng lab: gamitin ang mga lawful reporting channels kapag nalampasan ang internal safety. Mas epektibo ang role-specific force kaysa sa generic na pag-aalala. Tingnan ang kumilos.
Karamihan sa pera at prestihiyo ay napupunta pa rin sa paggawang mas ligtas ng karera, hindi sa pagtatapos ng karera patungo sa ASI. Kulang pa rin ang mga donasyong sumusuporta sa paghinto.
Ano ang hitsura ng tagumpay
Sa loob ng dalawang taon: statutes na may ngipin sa maraming hurisdiksyon, mas mahusay na end-use monitoring sa chips, seryosong negotiation text na may mga numero, matibay na suporta ng publiko para sa binding prohibition. Sa loob ng lima hanggang sampung taon: licensed compute na sumasakop sa karamihan ng frontier capacity, gumaganang inspection, coalition coverage ng training, at isang kultura kung saan mahal at nakikita ang breakout. Hindi binibilang ang summit communiqués lamang.
Mga mode ng pagkabigo
Redefinition ("advanced assistance" sa halip na ASI). Capture ng mga evaluator. Symbolic treaties na walang verification. Paghihintay sa "solved alignment" bilang permiso para magtayo. Defection na walang halaga. Pangalanan ang mga ito para mailagay mo ang mga railing sa pag-akyat.
Disenyo ng kasunduan nang walang banal na teksto
Walang iisang sacred draft. May mga pamilya ng disenyo. Maaaring gumalaw muna ang isang core coalition na sumasakop sa karamihan ng frontier capacity bago ang universal membership. Hinahiram ng Framework-then-annex sequencing (mga prinsipyo muna, numeric schedules na nag-a-update) mula sa matagumpay na environmental at arms regimes. Binabago ng trade measures laban sa mga hindi partido ang opt-out math. Maaaring bumili ng suporta mula sa mga estado na takot na maiiwan sa narrow AI ang isang multilateral fund o technology access bargain. Ang MIRI-style draft ay isang fully specified proposal; ang NPT, Montreal, at chemical weapons law ang precedent shelf. Pumili ng mga istrukturang kayang i-verify, hindi tula na kayang purihin lamang.
Pananaliksik malapit sa linya
Ang pinakamahirap na drafting problem ay ang gawaing katabi ng ban: agentic systems, automated AI-research assistants, large-scale self-play. I-ban ang malinaw na ASI path. I-license at i-inspect ang gray zone. Huwag magkunwaring bawat papel ay bomba, at huwag magkunwaring ordinaryong agham ang automated AI research kapag pinapaikli nito ang daan patungo sa mga sistemang walang sinuman ang makakapigil.
Katarungan at kung sino ang magbabayad
Hindi pantay na tatamaan ng compute rules ang mga kompanya at bansa dahil hindi pantay ang industrial base. Ang isang patas na rehimen ay nagpapares ng mga paghihigpit sa tuktok ng capability ladder sa patuloy na access sa beneficial narrow tools, at hindi ginagamit ang "safety" bilang takip para sa permanenteng technological caste systems. Ang punto ay shared survival, hindi monopolyo sa progreso.
Pagsagot sa dalawang mahirap na linya
"Mawawala sa atin ang ekonomiya." May kapital na lilipat. May mga equity story na bababa. Kita ang mga gastusing ito sa quarterly calls. Hindi lumalabas bilang isang line item ang pagkalipol at permanenteng pagkawala ng kapangyarihan. Hindi awtomatikong nananalo ang mga nakikitang gastos kapag ang alternatibo ay sibilisasyon.
"Palaging may magdidepekto." Ang defection ay isang design input. Ang verification, hardware denial, sanctions, at mutual exposure ng breakout programs ay umiiral para baguhin ang payoff. Hindi perpektong pagsunod ang pamantayan. Ang pagtaas ng halaga ng pandaraya ang pamantayan.
Muli ang hagdan
Public will. Batas. Chips. Treaty. Inspectors. Permanenteng pagbabawal. Ang pag-akyat ay nangangahulugang paglalagay ng mga rungs sa tamang pagkakasunod-sunod at pagtanggi sa pagpapanggap na ang painted wall ay isang hagdan. Ang mga dokumento, industrial chokepoints, at legal precedents ay umiiral na. Ang puwersa ay dapat nasa susunod na rung na talagang maabot mo. Ang buong disenyo ay nasa aming plano. Mas simple ang pangunahing linya: huwag bumuo ng superintelligence. Hindi makokontrol ang superintelligence.