Az AI-chipeknél ma nem csak a nyers teljesítmény számít, hanem az is, mennyibe kerül egy teljes racknyi vas és mennyire bonyolult üzemeltetni. Az Intel most arra tesz fel mindent, hogy az „elég jó” teljesítményt olcsóbb alkatrészekkel és egyszerűbb hűtéssel adja.

Mi történt

Az Intel azt tervezi, hogy még idén, az év vége felé korlátozott mennyiségben szállítani kezd egy új, „Crescent Island” nevű GPU-t (grafikus processzort, amit AI-gyorsítóként is használnak). A chipet kifejezetten inference feladatokra tervezték: ez az a fázis, amikor a már betanított modell a felhasználói kérésre válaszol. Gondolj rá úgy, mint a „kiszolgálás” részre egy étteremben: a konyha (tréning) már elkészült a menüvel, itt az a cél, hogy gyorsan és gazdaságosan tálalj.

A fejlesztés az Intel saját bevallása szerint „az alapoknál” indul: a Crescent Island léghűtéses, és LPDDR5 memóriát használ. Ez a memóriafajta jellemzően olcsóbb, mint a csúcskategóriás AI-gyorsítókban elterjedt HBM (high-bandwidth memory), amely extrém nagy sávszélességet ad, de drága és a teljes csomagolás/ellátás is bonyolultabb.

A háttérben ott van, hogy az Intel korábbi AI-GPU próbálkozása, a tréningre pozicionált Gaudi gyenge eladásokat hozott, a tervezett utódját pedig tavaly törölték. A mostani irányváltás tudatos: nem a tréningpiacot támadják első körben, ahol a legerősebb pozíció jelenleg az Nvidia oldalán van.

Miért fontos

A nagy AI-infrastruktúra költségét ma gyakran két dolog tolja fel: a HBM-memória ára és a hűtés (különösen, ha folyadékhűtéses rendszert kell kiépíteni). Ha egy inference-re optimalizált, léghűtéses, olcsóbb memóriával szerelt gyorsító elfogadható teljesítményt ad, az több szereplőnek teheti elérhetővé a skálázást: nem feltétlenül kell minden feladatra a „legdrágább versenyautó”, ha a cél inkább sok, párhuzamos kiszolgálás kiszámítható költségen.

Mire figyelj

  1. Valós teljesítmény inference alatt: nem az számít, hogy egyetlen benchmarkban mit tud, hanem hogy tipikus modellekkel (különböző méret, kvantálás, batch) mennyi válasz/óra jön ki watt és dollár per válasz alapon.
  2. Ökoszisztéma és szoftver: a fejlesztői eszközök, driverek, fordítók és keretrendszer-integráció döntik el, mennyi munkával lehet rá átállni. Egy olcsó chip is drága, ha nehéz rá telepíteni a valós workloadot.
  3. Szállítási mennyiség és elérhetőség: az év végi, „limitált” kiszállítás inkább pilot jellegű lehet; az igazi kérdés, mikor lesz stabil, nagy volumenű kínálat.
  4. Pozicionálás a piacon: az Intel most nem a tréninget célozza, hanem a kiszolgálást; érdemes figyelni, mely iparági felhasználásoknál (chat, keresés, ajánlórendszerek, vállalati asszisztensek) lesz a legjobb a költség–teljesítmény arány.

A lépés egyértelműen arról szól, hogy az Intel a „drága memória + bonyolult hűtés” csomagot megkerülve találjon rést a piacon — és ha a Crescent Islandnél ez működik, az inference infrastruktúra ára érezhetően lejjebb csúszhat bizonyos kategóriákban.