Pri optimalizácii cudzieho čipu sa softvérový tím prispôsobuje dostupnej architektúre, pamäti, sieťovému prepojeniu a podporovaným dátovým formátom. Pri spoločnom návrhu môže modelový a hardvérový tím robiť rozhodnutia naraz. Ak sa určitý typ operácie v Claude opakuje vo veľkom objeme, budúci akcelerátor mu môže venovať presne navrhnuté výpočtové bloky alebo efektívnejšiu cestu k pamäti.
Výsledkom nemusí byť univerzálne výkonnejší procesor. Vlastný čip môže byť lepší iba na presne definovanú triedu úloh. Práve to však môže Anthropic potrebovať. Pri miliardách generovaných tokenov je dôležitejšia cena a energetická efektívnosť typického produkčného zaťaženia než schopnosť čipu riešiť každý možný výpočtový problém.
Anthropic zatiaľ nepotvrdil čip, ktorý by znížil náklady Claude o polovicu. Potvrdený je vznik interného tímu a smerovanie ku spoločnému návrhu modelu, softvéru a hardvéru.
Prečo je inferencia drahá
Trénovanie veľkého modelu je mimoriadne nákladné, ale vykonáva sa v ohraničených cykloch. Inferencia prebieha pri každej používateľskej požiadavke. Keď Claude analyzuje dokument, píše kód alebo generuje odpoveď, infraštruktúra musí načítať parametre modelu, spracovať vstupný kontext a postupne vytvárať ďalšie tokeny.
Pri tejto práci nie je úzkym miestom iba počet matematických operácií. Veľkú úlohu hrá pohyb dát medzi pamäťou a výpočtovými jednotkami, kapacita a priepustnosť pamäte, komunikácia medzi čipmi a správa cache pre predchádzajúce tokeny. Všeobecný GPU musí podporovať široké spektrum úloh. Špecializovaný akcelerátor môže časť univerzálnosti odstrániť a venovať väčšiu plochu tým operáciám, ktoré model používa najčastejšie.
Úspora preto nevzniká iba tým, že čip vykoná jednu operáciu rýchlejšie. Dôležitá je celá obslužná cesta: ako sa požiadavky zoskupujú, kde sú uložené váhy modelu, ako sa prenáša kontext, koľko energie spotrebuje komunikácia a akú časť teoretického výkonu možno reálne využiť. Vlastný návrh dáva zmysel vtedy, keď sa optimalizuje celý tento systém.
Čo znamená spoločný návrh modelu a čipu
Co-design je spôsob vývoja, pri ktorom hardvér nevzniká izolovane od softvéru. Tím modelu poskytne údaje o reálnom zaťažení: typické dĺžky vstupov, používanú presnosť, pamäťové nároky, najčastejšie jadrá výpočtov a správanie pri paralelnom obsluhovaní požiadaviek. Hardvérový tím podľa nich navrhne architektúru a softvérovú vrstvu.
Proces funguje aj opačne. Limity pripravovaného čipu môžu ovplyvniť budúcu architektúru modelu. Ak hardvér efektívne podporuje konkrétny dátový formát, spôsob riedkeho výpočtu alebo organizáciu pamäte, výskumníci môžu model trénovať tak, aby tieto vlastnosti využil. Cieľom nie je natlačiť existujúci Claude na nový čip, ale postupne priblížiť obe vrstvy.
Takéto prepojenie môže zlepšiť výkon na watt, cenu jedného tokenu aj predvídateľnosť latencie. Zároveň zvyšuje riziko uzamknutia. Ak sa architektúra modelov rýchlo zmení, čip navrhnutý pre dnešné pracovné zaťaženie môže byť pri uvedení menej vhodný. Vývoj kremíka trvá podstatne dlhšie než vývoj novej verzie modelu, preto musí návrh obsahovať dostatok flexibility.
Údaj o 50 percentách nie je výsledok
Tvrdenie o možnom znížení nákladov na inferenciu o polovicu pôsobí presne, no v tejto fáze nemá charakter potvrdeného produkčného merania Anthropic. Firma nepredstavila finálny čip, testovaciu metodiku ani porovnávanú základňu. Nie je preto jasné, či by sa úspora vzťahovala na cenu hardvéru, spotrebu energie, celkové náklady dátového centra alebo cenu obsluhy jedného tokenu.
Špecializovaný kremík má reálny potenciál odstrániť časť režijných nákladov univerzálnych GPU. Rozsah úspory však závisí od využitia čipu, výťažnosti výroby, ceny pamäte, sieťovej infraštruktúry a softvéru. Laboratórne porovnanie konkrétneho jadra navyše nemusí zodpovedať celému produkčnému systému.
Rozumné je preto čítať 50 percent ako ambiciózny orientačný cieľ. Kým nebude existovať fyzický čip a meranie na reálnych požiadavkách Claude, nemožno hovoriť o dosiahnutej úspore. Samotné budovanie tímu je dôležité, ale od náboru prvých odborníkov po stabilnú výrobu vedie dlhá cesta.
Vlastný čip neznamená odchod od dodávateľov
Anthropic bude aj naďalej potrebovať viacero typov akcelerátorov. Trénovanie a inferencia majú odlišné požiadavky a ani vlastný čip nemusí byť vhodný pre všetky modely či pracovné zaťaženia. Diverzifikovaná infraštruktúra navyše znižuje riziko, že kapacitu obmedzí jeden dodávateľ alebo jedna výrobná linka.
Firma preto môže vlastný akcelerátor nasadiť najskôr na stabilné a objemné inferenčné úlohy, kde sa investícia najľahšie rozpočíta. GPU a cloudové čipy zostanú dôležité pri výskume, tréningu, nárazovej kapacite alebo modeloch, ktoré sa ešte rýchlo menia. Vlastný kremík bude ďalšou vrstvou portfólia, nie okamžitou univerzálnou náhradou.
Takýto model používajú aj veľké cloudové firmy. Popri vlastných akcelerátoroch naďalej nakupujú GPU, pretože rôzne úlohy majú rôzne technické a ekonomické optimum. Pre Anthropic je hodnota vlastného návrhu aj vo vyjednávacej pozícii: lepšie rozumie nákladom, dokáže porovnávať architektúry a nie je úplne odkázaný na plán jedného partnera.
Najťažšia časť sa začína po návrhu
Navrhnúť architektúru je iba prvá etapa. Čip musí prejsť logickou a fyzickou verifikáciou, pripraviť sa na výrobu, dosiahnuť prijateľnú výťažnosť a fungovať v serveroch s pamäťou, sieťou, napájaním a chladením. Potom potrebuje kompilátor, knižnice, diagnostiku a nástroje, ktoré umožnia modelovým tímom využiť jeho schopnosti.
Práve softvérový ekosystém býva dôvodom, prečo je ťažké nahradiť zavedené GPU. Výkon kremíka nemá veľkú hodnotu, ak vývojári nedokážu model spoľahlivo spustiť, profilovať a opravovať. Anthropic preto potrebuje nielen návrhárov obvodov, ale aj odborníkov na kompilátory, kernely, distribuované systémy, firmware a produkčné nasadenie.
Každá chyba sa s postupom vývoja predražuje. Softvérový problém možno opraviť novou verziou. Chyba objavená po výrobe môže znamenať oneskorenie celej generácie čipu. Vývojový tím preto musí investovať do simulácie a verifikácie dlho predtým, než vzniknú prvé použiteľné kusy.
Strategická hodnota je v poznaní celého systému
Aj keby prvý vlastný čip nenahradil veľkú časť infraštruktúry, tím môže Anthropic priniesť hodnotu. Hlbšie znalosti hardvéru pomáhajú optimalizovať Claude aj na čipoch partnerov. Firma môže presnejšie rozhodovať, ktoré modelové zmeny znižujú pamäťové nároky, kde sa oplatí použiť nižšiu presnosť a ako rozdeliť výpočty medzi zariadenia.
Najväčšou výhodou preto nemusí byť vlastníctvo konkrétneho procesora. Môže ňou byť schopnosť navrhovať model, runtime a infraštruktúru ako jeden systém. V odvetví, kde cenu produktu výrazne ovplyvňuje každý vygenerovaný token, je takéto poznanie priamo súčasťou konkurencieschopnosti.
