Ha ma AI-t szolgáltatsz ki nagyban, nem a modellek betanítása fáj a legjobban, hanem az, amikor a felhasználó beír egy promptot, és neked ezt gyorsan, olcsón, stabilan kell kiszolgálnod. Az Etched erre a szűk keresztmetszetre épít üzletet — és úgy tűnik, a piac figyel.

Mi történt

Az Etched egy friss helyzetjelentésben közölte, hogy a TSMC korábban az év során sikeresen legyártotta a chipjét, és a cég már 1 milliárd dollárnyi szerződéses megrendelést könyvelt el a termékére. Fontos részlet: nem pusztán chipeket árul, hanem „full systems” csomagokat — komplett rendszereket, amelyek a saját chipre épülnek.

Ezeket a rendszereket „frontier inference clusters”-nek hívják: a chip mellé saját tervezésű rackeket (gondolj rá úgy, mint a szerverek „polcrendszerére” adatközponti kivitelben) és szoftvert is adnak. A cég jelenleg az első terméket ügyfelekkel teszteli. Az ígéretük az, hogy a legfejlettebb modellek futtatását (inference) gyorsabban, olcsóbban és jobb energiahatékonysággal tudják megoldani a riválisoknál.

A startup azt is bejelentette, hogy összesen 800 millió dollár tőkét vont be eddig. Ennek legnagyobb része egy korábban nem kommunikált, 500 millió dolláros kör volt, amely decemberben zárult 5 milliárd dolláros (post-money) cégértékeltségen.

Miért fontos

Az inference az a fázis, amikor a betanított modell „dolgozik” — válaszol a kérdésedre, összefoglal, kódot ír, képet generál. Sok AI-cégnél ez a legnagyobb folyamatos költségközpont, mert minden egyes felhasználói kérés számítási kapacitást és áramot éget. Ha ezt a részt akár csak érezhetően olcsóbbá teszed, az közvetlenül javítja az egységköltséget (mennyi pénzbe kerül kiszolgálni egy kérést), és skálázáskor ez döntő. Emiatt logikus, hogy nemcsak GPU-kban gondolkodik a piac, hanem egyre inkább specializált, adott feladatra optimalizált chipekben — mintha nem egy svájci bicskát használnál mindenre, hanem külön szerszámot a leggyakoribb műveletre.

Mire figyelj

  1. A „megrendelés” mit jelent a gyakorlatban? A 1 milliárd dollárnyi szerződéses order erős jel, de a lényeg a tényleges szállítás, üzembe helyezés és a hosszú távú használat közbeni teljesítmény/áramköltség.
  2. Rendszerszintű ígéret: chip + rack + szoftver. Ez előny (jobban optimalizálható), de kockázat is (adatközponti integráció, üzemeltetés, támogatás). Az fog számítani, mennyire „plug-and-play” a megoldás a valós infrastruktúrákban.
  3. Verseny a legnagyobbak ellen is. A hyperscalerek (Amazon, Google, Microsoft) saját chipeket építenek, és a piac tele van friss tőkével megtolt szereplőkkel; a TechCrunch kontextusa alapján ez a hullám már nem csak a GPU-król szól, hanem arról, ki tudja az inference költségét és energiaigényét tartósan lejjebb vinni.

Ha az Etched a tesztelésből stabil, tömegesen telepíthető termékig jut, az nem „Nvidia helyett Nvidia” történet lesz, hanem egy nagyon konkrét költségprobléma célzott mérnöki megoldása — és ez az, amit a piac a legnehezebben tud figyelmen kívül hagyni.