Az AI-nál ma már nem elég, hogy valami „okos”. Ha túl sok tokent fogyaszt — vagyis túl sok feldolgozott szövegegységet használ fel — a végén a számla könnyen fontosabb lesz, mint a modell teljesítménye.

Mi történt

A Writer bemutatta új zászlóshajó modelljét, a Palmyra X6-ot, valamint frissítette az úgynevezett agentic harnessét is. Ez utóbbi lényegében az a vezérlőréteg, amely megszervezi, hogyan dolgozik egy AI-ügynök több lépésben: milyen utasításokat kap, mikor kér vissza információt, hogyan bontja részekre a feladatot, és mennyi tokenből próbálja megoldani azt. Gondolj rá úgy, mint egy forgalomirányítóra a modell körül: nem maga végzi a munkát, de sokat számít, mennyire hatékonyan tereli azt.

Az új modell a Z.ai nyílt forráskódú GLM-5.2 rendszerének egy utólag finomhangolt változatára épül. A cél nem pusztán az, hogy erős legyen, hanem hogy vállalati használatra kész állapotban, alacsonyabb költséggel lehessen bevetni. A cég becslése szerint a Palmyra X6 és a frissített infrastruktúra együtt az egyszerűbb feladatoknál akár 50%-os költségcsökkenést is hozhat az ügyfeleknek. A két újdonság azonnal elérhetővé vált a Writer ügyfelei számára.

A hangsúly különösen az összetett, több lépésből álló feladatokra került. Itt nem csak az számít, hogy a modell „jót válaszol-e”, hanem az is, hogy hány körben, mennyi plusz kontextussal és mekkora tokenfelhasználással jut el az eredményig. A Writer saját kutatása alapján a harness hatékonyságának kisebb javításai sok esetben megbízhatóbban csökkentették a költségeket, mint önmagában a modell cseréje, és a tesztekben átlagosan 40%-os megtakarítást láttak.

Miért fontos

Ez azért érdekes, mert az AI-piac egy ideig főleg benchmarkokról szólt: melyik modell hány teszten jobb a többinél. A vállalatoknak viszont a gyakorlatban gyakran nem ez a legégetőbb kérdés, hanem hogy mennyibe kerül ugyanazt a feladatot naponta ezerszer lefuttatni. Egy marketinges, ügyfélszolgálati vagy belső tudáskezelő rendszer esetében a végső költséget nem csak a modell ára határozza meg, hanem az is, mennyire pazarló vagy takarékos a köré épített működés. Ebben az olvasatban a „jobb AI” nem feltétlenül a legnagyobb modell, hanem az, amelyik elfogadható minőséget ad kevesebb lépésből és kevesebb tokennel.

Mire figyelj

  1. Kiderül-e, hogy az ígért 50%-os megtakarítás mennyire általános, és mely feladattípusokra igaz valójában.
  2. Más AI-szállítók is elkezdik-e hangsúlyosabban optimalizálni a harness réteget, nem csak új modelleket kiadni.
  3. Mennyire marad valóban modellfüggetlen a megközelítés, ha a rendszer egyszerre kezeli a saját modelleket és az Azure vagy Amazon Bedrock felől behozott külső modelleket.
  4. A TechCrunchnak adott értékelés szerint a vállalatok egyre kevésbé akarnak újabb és újabb benchmarkversenyeket követni, inkább kiszámítható költségeket várnak — ez a következő hónapokban az egész enterprise AI-piac egyik fő törésvonala lehet.