Mi történt
Az elmúlt években az Nvidia azért lett az AI-boom egyik legnagyobb nyertese, mert a legkeresettebb, csúcskategóriás GPU-kat szállította. A GPU olyan speciális processzor, amely különösen jól kezeli a párhuzamos számításokat, ezért ideális nagy nyelvi modellek tanítására és futtatására. Közben azonban az olyan óriások, mint az Amazon vagy a Google, saját chipeket kezdtek fejleszteni, így egyre többen kérdezték: meddig tartható fenn ez az előny?A mostani fordulat lényege, hogy az AI-infrastruktúra skálája közben új problémát hozott felszínre. Amikor egy adatközpont már nem néhány szerverből, hanem hatalmas, gigawattos fogyasztású rendszerekből áll, nem elég gyors GPU-kat egymás mellé rakni. Az is kritikus, hogyan mozog az adat a memória, a tároló, a hálózat és a számítási egységek között. Az Nvidia újabb rendszerei, köztük a Vera Rubin architektúra, már nem csak egy GPU-ról szólnak, hanem CPU-ról, tárolásról, hálózatról és ezek összehangolásáról is.
Ez azért fontos, mert a szűk keresztmetszet sokszor már nem maga a számítás, hanem az adat eljuttatása a megfelelő helyre a megfelelő időben. Gondolj rá úgy, mint egy autóra: a GPU a motor, de önmagában nem sokat ér, ha a váltó, az üzemanyag-ellátás vagy a futómű nincs hozzáhangolva. A Vera CPU például kifejezetten az adatforgalom szervezésére fókuszál, vagyis arra, hogy a drága hardver ne várakozzon feleslegesen adatra.
Miért fontos
A hétköznapi felhasználó ebből annyit érzékelhet, hogy az AI-szolgáltatások jövőbeli ára, sebessége és megbízhatósága nem csak a „melyik chip a gyorsabb?” kérdésen múlik. Ha egy rendszer kevesebb energiából több választ tud előállítani, az olcsóbb és jobban skálázható szolgáltatásokat jelenthet. Ez különösen fontos most, amikor az iparág egyre inkább a tokens-per-watt mutatót figyeli: vagyis mennyi AI-kimenetet lehet előállítani egységnyi energiafelhasználással. A TechCrunch értelmezése szerint a verseny ezzel új szintre lépett: nem elég versenyképes GPU-t építeni, az egész infrastruktúrát kell hatékonyabbá tenni.Mire figyelj
- Érdemes követni, hogy a nagy felhőszolgáltatók saját chipjei mennyire tudják kiváltani az Nvidia teljes rendszerkínálatát, nem csak a GPU-it.
- Fontos kérdés lesz, hogy az adatmozgatás csökkentése vagy az adatforgalom intelligensebb szervezése bizonyul-e jobb útnak. Az egyik megközelítés egy integráltabb chipen belül tartaná a feladatot, a másik a nagy rendszerek közti koordinációt javítja.
- Az is sokat számít majd, hogy az energiahatékonyság mennyire válik elsődleges üzleti szemponttá. Minél nagyobbak az AI-adatközpontok, annál többet ér minden olyan technológia, amely csökkenti a pazarlást a számítás körüli rétegekben.