Ha LLM-et akarsz pénzügyi elemzésre vagy kereskedési döntéstámogatásra, nem mindegy, mennyire gyorsan és mennyire „valós körülmények között” tud válaszolni. A STAC-AI LANG6 most olyan mérési keretet ad, ahol az inferencia nem steril labor, hanem inkább egy termelési rendszerhez hasonló terhelés.

Mi történt

A STAC (Strategic Technology Analysis Center) több mint 15 éve készít benchmarkokat pénzügyi iparági munkaterhelésekre, és ennek részeként hozta létre a STAC-AI csomagot. Ennek LANG6 része kifejezetten az LLM-inferenciát méri egy RAG-folyamat (retrieval-augmented generation) kontextusában. A RAG-t úgy képzeld el, mint amikor a modell nem „emlékezetből” válaszol, hanem előtte visszakeres releváns dokumentumokat (például vállalati jelentéseket), és ezekből dolgozik.

A LANG6 két modellre épül: Llama 3.1 8B Instruct és Llama 3.1 70B Instruct. Ezeket két, EDGAR-alapú (amerikai tőzsdefelügyeleti beadványokból épített) adathalmazzal teszteli:

A benchmark két üzemmódot különít el. Batch (offline) módban minden kérés egyszerre érkezik, itt a lényeg a teljes áteresztőképesség (mennyi szöveget tud „ledarálni” időegység alatt). Interaktív (online) módban a kérések pszeudo-véletlen időpontokban futnak be, és olyan mutatókat figyelnek, mint a reakcióidő (RT) és a szavak/másodperc (WPS). Az RT-t érdemes úgy értelmezni, mint a „mikor indul meg a válasz” jellegű késleltetést, hasonló a sok helyen használt time-to-first-token (TTFT) mérőszámhoz. Fontos korlát, hogy interaktív módban nem szerepel a Llama 3.1 70B + EDGAR5 kombináció.

A bemutatott auditok több platformot is érintenek: egy NVIDIA Hopper-alapú, HPE által benyújtott on-prem szervert (GH200 Grace Hopper), egy felhős konfigurációt NVIDIA HGX B200 (Blackwell) alapokon, valamint egy két GPU-s, on-prem rendszeropciót RTX PRO 6000 Blackwell Server Edition kártyákkal.

Miért fontos

A pénzügyi felhasználásban az LLM-ek tipikusan nem „csevegnek”, hanem nagy mennyiségű, strukturálatlan szöveget (hírek, jelentések, piaci kommentárok) alakítanak át döntéstámogató összegzésekké. Itt a teljesítmény nemcsak a GPU-n múlik: a STAC-AI egyik megkülönböztető eleme, hogy inferencia közben kötelezően számol a chat template alkalmazásával és a tokenizálással. A tokenizálás a szöveg feldarabolása a modell által értett egységekre (tokenekre) — gondolj rá úgy, mint amikor a futószalagra nem egész mondatokat, hanem szabványos dobozokat kell feltenni. Sok éles rendszerben ezt inkább szerveroldalon csinálják (például a rendszerprompt védelme miatt), ami CPU-terhelést és késleltetést hoz be; ettől lesz a mérés közelebb a valósághoz.

Mire figyelj

  1. Interaktív késleltetés vs. throughput: kereskedési környezetben gyakran a „mikor jön az első értelmes válasz” legalább annyira fontos, mint a maximális szövegtermelés.
  2. Hosszú kontextus költsége: az EDGAR5 jellegű, teljes dokumentumos feldolgozás tipikusan drágább (memória és idő), ezért nem mindegy, milyen hardveren és milyen beállításokkal fut.
  3. CPU-oldali előfeldolgozás szűk keresztmetszete: ha a tokenizálás és sablonozás a szerveren marad, könnyen előfordulhat, hogy a GPU gyorsabb lenne, mint amennyire a CPU képes etetni.
  4. Platformválasztás: felhő vs. on-prem: a HGX B200 jellegű, nyolc GPU-s rendszerek nagy modellhez és sok párhuzamos kéréshez ideálisak, míg a két GPU-s on-prem gépek fejlesztéshez és kisebb telepítésekhez lehetnek praktikusabbak.

A NVIDIA Developer Blog állítása szerint a Blackwell-alapú konfigurációk STAC-AI rekordot értek el a pénzügyi LLM-inferenciát célzó mérésekben, de a legnagyobb tanulság inkább az, hogy a „valós” inferencia teljesítménye a teljes veremen múlik, nem csak a GPU típusán.