A generatív AI-t sok szervezet úgy vezeti be, mintha a villany lenne: bekapcsolod, és „csak működik”. Az amerikai hadseregnél most kiderült, hogy a „korlátlan” használat valójában nagyon gyorsan kézzelfogható limitbe ütközhet.

Mi történt

Az Army Combat Capabilities Development Command (DEVCOM) munkatársai e-mailt kaptak arról, hogy túl gyorsan fogy a generatív AI-hoz kapcsolódó tokenkeret, ezért korlátozniuk kell a használatot. A levél konkrétan azt állította, hogy a hadsereg informatikai vezetése (Army CIO) 2026 májusában „korlátlan tokeneket” kommunikált, de június közepére a központi tokenpool kimerült, így újra limiteket kellett bevezetni.

A rendszer, amit használnak, az Ask Sage: egy multimodális (tehát nem csak szöveget, hanem többféle bemenetet/kimenetet kezelő) generatív AI platform, ahol több nagy nyelvi modell (LLM) is futtatható. Az LLM-et úgy érdemes elképzelni, mint egy nagyon nagy, szövegeken betanított „valószínűségi autokiegészítőt”, ami nem adatbázisból keres, hanem valószínűsíti a következő szavakat és válaszokat. Az Ask Sage-ben többek között az Alphabet Gemini, a Meta Llama és az OpenAI ChatGPT is elérhető.

A platformot a hadsereg „vállalati LLM-munkaterének” gerinceként használja, és akkreditált „Controlled Unclassified Information” (CUI) kezelésére is. A CUI olyan, nem minősített, de kontrolláltan kezelendő információ, amihez szabályozott hozzáférés és adatkezelés tartozik. A hadsereg leírása alapján az Ask Sage-et például személyzeti leírások újrakategorizálására is használták (feladatkörök, elvárt tapasztalatok és háttér összehangolása).

Miért fontos

A tokenek a generatív AI „üzemanyaga”: nagyjából a bemeneti és kimeneti szöveg darabkákra bontott mennyisége, ami alapján a szolgáltatók számláznak és kvótáznak. Gondolj rá úgy, mint a mobilnetre: lehet „korlátlan” csomagod, de a háttérben gyakran van fair use, kapacitás- vagy költségkorlát. Ha egy szervezet egyszerre ösztönzi a széles körű használatot (havi tokenkeretekkel, automatikus pótlással, sőt emlékeztetőkkel a „fel nem használt” kvótákra), akkor a fogyás nem lassan kúszik fel, hanem hirtelen megugrik — különösen, ha sokan hosszú dokumentumokat foglalnak össze, nagy anyagokat elemeznek, vagy több körös párbeszédeket futtatnak.

Mire figyelj

  1. Mit jelent a „korlátlan” a gyakorlatban? A történet rávilágít: a kommunikált korlátlanság mögött lehet központi pool, időszakos keret vagy szerződéses plafon, ami ugyanúgy elfogyhat.
  2. Hogyan árazzák és osztják szét a tokeneket? A havi fejenkénti allokáció és az automatikus ráemelés kényelmes, de könnyen „költség-gyorsítót” csinál a rendszerből, ha nincs mellé használati irányelv.
  3. Milyen feladatokra éri meg AI-t használni? A rutinszövegezés és adminisztratív átalakítások jól skálázódnak, de a nagy dokumentumok „bedarálása” tokenzabáló. Itt jön be a jó gyakorlat: rövidebb promptok, célzott kivonatok, és ahol lehet, sablonosított munkafolyamatok.
  4. Mi lesz október 1. után? A belső levél szerint nem egyértelmű, hogy a központi tokenpool megújul-e a pénzügyi év fordulóján; ez tipikusan az a pont, ahol a „kísérleti” bevezetésből költségtervezési és beszerzési kérdés lesz.

A történet tanulsága nem az, hogy az AI „túl drága”, hanem az, hogy a használatát ugyanúgy kapacitásként kell kezelni, mint bármely más vállalati erőforrást: mérni, priorizálni, és a valós igényekhez szerződni.