V prvej vlne generatívnej AI sa najviac hovorilo o tréningu modelov, veľkosti parametrov a pretekoch medzi laboratóriami. Produkty ako Gemini, ChatGPT alebo Claude však žijú z inferencie, teda zo samotného používania modelu. Každá otázka, každé zhrnutie dokumentu, každé vygenerované video, každá analýza tabuľky a každý agentický krok spotrebúva výpočtový výkon. Ak sa AI stane bežnou vrstvou softvéru, práve inference bude ekonomickým testom celej kategórie.
Efektivita tokenov v praxi
Pri jazykových modeloch sa odpoveď skladá z tokenov. Token si možno zjednodušene predstaviť ako malú jednotku textu, často časť slova alebo krátky reťazec znakov. Model pri odpovedi generuje token za tokenom a každý z nich vyžaduje výpočty. Ak čip dokáže vyprodukovať viac tokenov pri rovnakej spotrebe energie, znamená to lacnejšiu prevádzku, nižšie nároky na chladenie a lepšiu škálovateľnosť.
Práve preto je tvrdenie o vyššej efektivite Frozen v2 také dôležité. Hovorí o tom, že Google sa snaží dostať pod kontrolu jednotkovú ekonomiku Gemini. Ak má AI fungovať vo vyhľadávaní, Workspace aplikáciách, cloude, mobiloch, reklame a interných nástrojoch, potrebuje infraštruktúru, ktorá zvládne obrovské objemy dopytov bez toho, aby prevádzkové náklady rástli rovnakým tempom ako používanie.
Prečo vlastné čipy dávajú Googlu zmysel
Google má oproti mnohým konkurentom výhodu vo vertikálnej integrácii. Vyvíja modely, vlastní cloudovú infraštruktúru, prevádzkuje obrovské produkty a má dlhoročnú skúsenosť s vlastnými TPU akcelerátormi. Vlastný čip mu umožňuje optimalizovať hardvér pre konkrétne typy záťaže, nie pre všeobecný trh.
To je rozdiel oproti situácii, keď firma nakupuje univerzálne výkonné GPU a prispôsobuje im svoj softvér. Vlastný AI čip môže byť navrhnutý presne pre potreby Gemini: pre konkrétne modelové architektúry, konkrétne dĺžky kontextu, konkrétny spôsob generovania odpovedí a konkrétne dátové centrá. Takáto optimalizácia môže rozhodovať o tom, či sa AI funkcia dá nasadiť masovo alebo zostane drahou prémiovou vrstvou.
Súťaž s Nvidiou aj vlastnými nákladmi
Správa o Frozen v2 zapadá do širšieho pohybu v odvetví. Veľké AI firmy sa snažia znižovať závislosť od Nvidie, ktorá dlhodobo dominuje trhu AI akcelerátorov. Nvidia zostáva extrémne silná, no práve jej dominancia vytvára tlak na alternatívy. Ak je kapacita drahá a obmedzená, veľkí hráči hľadajú vlastné riešenia.
Pre Google však nejde iba o vyjednávaciu pozíciu voči dodávateľom. Ide aj o investičnú disciplínu. Alphabet plánuje v AI infraštruktúre obrovské výdavky a musí investorom ukázať, že nejde len o nákladové preteky. Efektívnejší čip je odpoveďou na otázku, ako z masívnych kapitálových investícií vytvoriť dlhodobo udržateľnú službu. AI sa dostáva do fázy, v ktorej bude hardvér, energia a prevádzková efektivita rovnako strategická ako samotné modely.
