Az AI-nál egyre kevésbé az a kérdés, hogy „tud-e okosat mondani”, hanem hogy mennyiért és mennyi árammal tudja ezt megtenni. Az OpenAI most egy olyan lépéssel próbálja lejjebb vinni a számlát, ami a legtöbb felhasználónak láthatatlan, mégis mindent átsző: saját chipet épít.

Mi történt

Az OpenAI bemutatta első egyedi, saját igényeire szabott inference processzorát (azaz olyan chipet, ami az elkészült modellek futtatását gyorsítja), amelyet a Broadcommal közösen terveztek és gyártottak. A chip neve Jalapeño, és jelenleg még tesztelés alatt áll, de a cég állítása szerint a korai eredmények jelentősen jobb teljesítmény/watt mutatót ígérnek a mai csúcskategóriás alternatívákhoz képest.

Fontos különbség: ez nem a modellek „betanítására” készült. A pre-training (előtanítás) az a drága, hetekig-hónapokig futó számítási munka, amikor a modell megtanul mintázatokat a hatalmas adathalmazokból. Ezzel szemben az inference olyan, mint amikor a már megtanult tudást „előhívod” — például amikor egy chatbot válaszol, vagy egy kódolós asszisztens valós időben javasol sorokat.

A chipfejlesztés mögött régóta ott volt a motiváció: csökkenteni a függést az Nvidia GPU-itól. A nagy felhős szereplők (például Google, Amazon) már évek óta építenek úgynevezett AI-gyorsítókat: speciális szilíciumot, ami célfeladatra optimalizálja a gépi tanulási terheléseket.

Miért fontos

Az AI üzleti matekja egyre inkább az inference körül forog. Gondolj rá úgy, mint egy étteremre: a konyha felépítése és a séfek betanítása a pre-training, de a napi több ezer rendelés kiszolgálása az inference — és a végén ezt fizeti ki a vendég. Ha egy chip ugyanazt a válaszminőséget kevesebb energiából és olcsóbban hozza, az közvetlenül javítja a skálázást, a késleltetést (mennyit vársz a válaszra), és végső soron az árazást is.

Külön érdekes, hogy a Jalapeñót kifejezetten valós idejű kódolós modellek futtatásánál emelték ki alacsony üzemeltetési költségűnek. Ez arra utal, hogy a cél nem egy „mindenre jó” csip, hanem néhány, üzletileg kritikus terhelés nagyon hatékony kiszolgálása.

Mire figyelj

  1. Valós mérőszámok a tesztek után: a „jobb teljesítmény/watt” ígéret akkor lesz igazán értelmezhető, ha kiderül, milyen feladatokon, milyen összehasonlításban és milyen méretezés mellett mérték.
  2. Mennyit vesz át az Nvidia szerepéből: valószínű, hogy az előtanítás továbbra is GPU-kra támaszkodik, de már kis inference-költségcsökkenés is nagy pénz, ha milliárdnyi lekérdezést kell kiszolgálni.
  3. Stack-szintű optimalizáció: az OpenAI azt az irányt erősíti, hogy a teljes „verem” (chip, memória, hálózat, ütemezés, telepítés, termékélmény) egy célra legyen hangolva. A TechCrunch értelmezése szerint ez a következő években az AI-gazdaságtan egyik döntő frontja lesz, mert nem csak a modell, hanem az infrastruktúra hatékonysága dönti el, mi éri meg a piacon.