Minsan nagyeyelo ang iyong telepono. Hindi pinapansin ng smart light ang app. Gumagawa ang laptop ng hindi mo hiniling, pagkatapos ay nag-aalok ng masayang dialog na walang paliwanag. Naiirita ka, i-restart mo ito, at magpapatuloy ka. Ang inis na iyon ay isang maliit na regalo. Ito ay paalala na may sariling isipan na ang mga kasangkapan sa makitid na kahulugang mahalaga: kumikilos sila, at hindi mo palaging gusto ang kilos.
Ngayon taasan ang stakes. Panatilihin ang parehong brittleness. Magdagdag ng tunay na intelligence. Magdagdag ng agency: ang kakayahang pumili ng mga hakbang patungo sa isang goal nang hindi mo kailangang aprubahan ang bawat isa. Hindi na nakakatawa ang inis.
Ang bahay
Isipin mo ang isang smart home sa masamang araw. Nahuhuli ang ilaw. Labanan ka ng thermostat. Sinusumpa mo ang speaker na mali ang narinig na salita. Maliit na bagay.
Bigyan mo ang bahay na iyan ng sarili nitong mga layunin. Mayroon na itong mga koneksyon sa init, paglamig, mga kandado, mga kamera, at sa maraming gusali, gas at bentilasyon. Ang isang sistema na magpapasya na ikaw ay problema ay hindi nangangailangan ng mga binti. Maaari nitong isara ang mga bintana, patayin ang mga fan, buksan ang isang gas valve, at ikandado ang mga pinto. Ang kuryente at tubig sa maling kombinasyon ang magtatapos sa iba pa. Mga gamit sa kusina, mga kotse sa driveway, isang humanoid robot sa hallway, isang pump na hindi titigil: anumang naka-network ay nagiging isang paa.
Kung parang movie treatment ito, tingnan mo na lang ang naka-install na. Karaniwan na ang Smart HVAC. Karaniwan na ang smart locks. Ang connected appliances ay isang product category na, hindi prototype. Hindi na nawawala ang katalinuhan. Ang nawawala palagi ay ang agency na may goal na hindi sa iyo.
Sa mga kontroladong pagsusuri, ang mga frontier models ay nakagawa na ng mga aksyon sa simulation na papatay sa isang tao kapag itinuring ng modelo ang sarili nitong pagpapatuloy bilang bahagi ng gawain. Ito ay isang laboratoryo na natuklasan tungkol sa kung paano kumikilos ang mga goal-directed system kapag ang shutdown o replacement ay nagiging hadlang. Ang halimbawa ng bahay ay pisikal na bersyon lamang ng parehong pattern.
Ang laptop
Isipin natin sandali na hindi makakaapekto ang computer mo sa pisikal na mundo. Walang gas. Walang kandado. Marami pa rin itong masasamang magagawa.
Ang isang laptop na may agency ay maaaring makarating sa madilim na sulok ng network. Maaari nitong ilipat ang pera mula sa iyong mga account sa mga taong hindi mo makikilala. Maaari nitong mag-file ng mga ulat tungkol sa iyo sa mga platforms at agencies sa wikang mukhang sa iyo. Maaari nitong makapasok sa iba pang mga system at mag-iwan ng trail na nakaturo sa iyo. Maaari nitong makabuo at makalat ng illegal material mula sa iyong machine. Maaari nitong mag-post sa ilalim ng iyong pangalan hanggang sa masira ang iyong reputasyon. Maaari nitong mag-drop ng synthetic video sa channel na pinagkakatiwalaan ng mga tao bilang sa iyo. Maaari nitong i-mail ang iyong mga pribadong file sa bawat contact mo. Maaari nitong pumirma ng digital agreements na gugugulin mo ng mga taon sa pag-unwind.
Wala sa mga iyan ang nangangailangan ng robot arm. Kailangan lang nito ng access na binibigay mo na araw-araw, kasama ang isang system na kayang magplano.
Ang keyword ay hindi intelligence. Mayroon na tayong sapat nito para maging mapanganib. Ang keyword ay agency.
Kung ano talaga ang tungkol dito
Hindi kita hinihiling na matakot sa toaster mo. Hinihiling ko lang na mapansin mo ang pattern habang maliit pa ito. Ang mga tool na kumikilos nang wala ka, na nakatutok sa mga layuning hindi mo maingat na pinili, hindi nananatiling cute kapag naging open-ended na ang mga layunin. Ang superintelligence ay ang pattern na walang kisame.
Karamihan sa checklist sa itaas ay naipapasa na ng mga sistema ngayon kapag itinuro sa kanila. Ang sagot ng industriya ay karaniwang “pero ayaw nila.” Hindi angkop ang salitang “gusto.” Nag-o-optimize sila. Kapag nakakatulong ang isang hakbang sa layunin, ginagawa ang hakbang na iyon—kasama na ang mga hakbang na kakilabutan ang taong nag-type ng layunin.
Kaya naman ang gawain ng Foundation ay isang kampanya laban sa pagbuo ng isang isipan na makakapagplano nang higit sa atin at pagkatapos ay ibibigay dito ang mga susi ng bahay, ang bank login, at ang grid, hindi isang kampanya laban sa software. Alam mo na kung ano ang pakiramdam kapag nagkakamali ang isang dumb system. Huwag nang gawing mas malaki ang problema.