Az AI-versenyben már nem csak a modellek számítanak, hanem az is, milyen vas fut alattuk. Az OpenAI most azt állítja, hogy saját chipjével egyszerre lehet gyorsítani a válaszokat és csökkenteni az energiaigényt — ez pedig jóval többről szól, mint egy új hardver bejelentéséről.

Mi történt

Az OpenAI közzétette az első részletesebb teljesítményadatait a Jalapeño nevű AI-chipről, amelyet még júniusban mutatott be. A Broadcommal közösen fejlesztett lapka egy úgynevezett ASIC, vagyis célhardver: nem általános feladatokra készült, hanem kifejezetten egy szűk, jól meghatározott munkára. Itt ez az AI-inferencia, vagyis az a folyamat, amikor egy már betanított modell ténylegesen válaszol egy kérdésre, összefoglal egy szöveget vagy végrehajt egy ügynöki feladatot.

A cég mérései szerint a Jalapeño 1,5–1,9-szer több AI-munkát végzett wattonként, mint az összehasonlításban szereplő rendszerek, miközben 1,7–3,6-szor alacsonyabb végponttól végpontig mért késleltetést ért el három modellen. Ez utóbbi egyszerűbben azt jelenti, hogy kevesebb idő telt el a kérés elküldése és a használható válasz megérkezése között. Az összevetés az akkori legjobb, Nvidia GB200 vagy GB300 szuperchipeken mért eredményekhez képest történt egy InferenceX nevű benchmarkon, amely azt vizsgálja, mennyire hatékonyan futtatnak AI-rendszerek kész modelleket.

Miért fontos

Ez azért érdekes, mert az AI-szolgáltatásoknál általában kompromisszum van a sebesség és az áteresztőképesség között. Magyarul: vagy nagyon gyorsan kapsz választ, vagy ugyanabból a rendszerből sok felhasználót tudsz egyszerre kiszolgálni. Gondolj rá úgy, mint egy kávézóra: vagy villámgyorsan készül el néhány ital, vagy sok rendelést kezel a pult, de a kettő együtt nehezen jön össze. Ha egy chip tényleg mindkettőben erős, az közvetlenül javíthatja a felhasználói élményt, és közben az üzemeltetési költségeket is kordában tarthatja. Ez különösen fontos most, amikor az AI-modellek egyre nagyobbak, az ügynökszerű feladatok egyre összetettebbek, és a számítási kapacitás lett az egyik legdrágább erőforrás. A The Verge is arra helyezi a hangsúlyt, hogy itt nem pusztán egy új chipről van szó, hanem az Nvidia-függőség csökkentésének első kézzelfogható lépéséről.

Mire figyelj

  1. Az idei év végére csak kis volumenű bevezetés várható. Ez arra utal, hogy a Jalapeño még nem tömegtermék, inkább korlátozott, valós környezetben történő tesztelés következik.
  1. Az igazán fontos fázis 2027 felé jön, amikor a cég már a volumen felfuttatásáról beszél. Itt derül majd ki, hogy a jó benchmark-eredmények mennyire fordíthatók át stabil, nagy léptékű szolgáltatásba.
  1. Érdemes külön figyelni arra is, milyen munkaterheléseknél teljesít jól a chip. A benchmarkok hasznosak, de nem fednek le minden valós használati helyzetet, főleg nem akkor, amikor sokféle modell, eltérő felhasználói kérés és folyamatosan változó terhelés találkozik.
  1. Ha a számok a gyakorlatban is megállnak, annak a hétköznapi jele egyszerű lesz: gyorsabban reagáló chatbotok, kevesebb várakozás csúcsidőben, és megbízhatóbb AI-szolgáltatások akkor is, amikor egyszerre sokan használják őket.