Gaano kabilis ang pag-scale ng AI?
Ang pinakamalaking driver ng pag-unlad ng AI ay ang raw scale, ang dami ng computation na ginagamit sa pagsasanay ng bawat bagong model. Kapag inilapat sa log scale, nakakagulat at walang humpay ang paglago na ito. Tuklasin ang mga modelong nagmamarka ng curve, at tingnan kung gaano kabilis gumagalaw ang frontier.
Hindi lang compute ang buong kwento (mahalaga rin ang mga algorithm at data) pero ito pa rin ang pinakamaaasahang tagapagpahiwatig ng bagong kakayahan. Kapag lumaki nang isang daang milyon beses ang input sa isang sistema sa loob lang ng mahigit isang dekada, at walang lubos na nakauunawa kung ano ang maidudulot ng susunod na paglaki nang isang daang ulit, nagiging malaking sugal ang “babaguhin na lang namin ang kaligtasan habang umaandar.”.
Binabago rin nito ang takbo ng karera: ang mga efficient model tulad ng DeepSeek-V3 ng China ay nakarating sa frontier-adjacent performance gamit ang maliit na bahagi lamang ng iniulat na compute, paalala na ang capability ay nagiging mas mura, hindi lang mas malaki.
Ang mga bilang ng training-compute ay mga pagtatantya, pangunahin mula sa Epoch AI's database ng notable models, ipinahayag sa floating-point operations (FLOP). Bihirang ibunyag ng mga labs ang eksaktong bilang, kaya approximate lang ang recent frontier values at ipinapakita para sa illustration. Ang finding na nananatili ay ang trend, hindi anumang isang punto.
Ang doubling time na ipinapakita ay kinompyut mula sa mga plotted models, kaya sumasalamin ito sa curated sample na ito at hindi sa buong larangan.