Nem minden AI-feladat igényel hosszú, „gondolkodó” választ. Sokszor csak egy gyors, olcsó és megbízható döntés kell — és most épp ebben kezd igazán felpörögni a verseny.

Mi történt

Az OpenAI széles körben elérhetővé tette a Decisions API-t, amelyet először a szeptember végi fejlesztői eseményén mutatott be. A szolgáltatás lényege, hogy adott opciók közül nagyon gyorsan tud választani, és a döntéshez bizalmi szintet is társít — vagyis megmondja, mennyire biztos a saját válaszában.

Ez a kategória azért érdekes, mert nem klasszikus chatbotként működik. Inkább „szuperosztályozóként” érdemes rá gondolni: ha több lehetőség közül kell kiválasztani a megfelelőt, ezt sokkal gyorsabban és olcsóbban tudja megtenni, mint egy általános nagy nyelvi modell. Az OpenAI saját megoldása nem egy nulláról betanított új modell, hanem a ChatGPT Luna áthangolt változata, amelyet gyorsabb következtetésre és alacsonyabb költségre optimalizáltak. A válaszidő a cég szerint az eddigi 1–3 másodpercről nagyjából 100–180 ezredmásodpercre csökkent.

A publikus verzióba hang- és képi képességek is bekerültek, emellett a rendszer földrajzilag közelebb próbálja kiszolgálni a felhasználókat, hogy alacsonyabb legyen a késleltetés. Ez utóbbi egyszerűen azt jelenti, hogy az AI-számításokat lehetőleg nem a világ másik végén futtatják, így gyorsabban jön vissza a válasz. Korai ügyfelek már lecseréltek bizonyos munkafolyamatokban hagyományos LLM-eket erre a megközelítésre: a Speak például 1,4 másodpercről 0,13 másodpercre csökkentette az egyes műveletek közti várakozást.

Miért fontos

Ez a váltás azért lényeges, mert jól mutatja: az AI-piac nem csak arról szól, melyik modell ír szebb esszét vagy old meg nehezebb feladatot. Rengeteg üzleti és termékes helyzetben az számít, hogy a rendszer villámgyorsan döntsön — például besorolja a bejövő kéréseket, kiválassza a megfelelő következő lépést, ellenőrizze, hogy valami megfelel-e egy szabálynak, vagy valós időben reagáljon hangra és képre. Gondolj rá úgy, mint a különbségre egy hosszasan tanácskozó szakértő és egy rutinos diszpécser között: nem ugyanarra valók, de a második sok helyzetben értékesebb.

Közben az is látszik, hogy ebben a szegmensben még nincs egyértelmű győztes. A különböző benchmarkok — vagyis összehasonlító tesztek — más modelleket hoznak ki élre, és az sem teljesen tiszta, mitől lesz „jó” egy döntési modell. A sebesség, az ár, a pontosság és a kalibráció együtt számítanak. A kalibráció itt azt jelenti, hogy a modell magabiztossága mennyire tükrözi a valóságot: ha 90%-os bizonyosságot mond, tényleg nagyjából ennyiszer legyen igaza. Ebben a gyakorlati kipróbálás valószínűleg többet ér, mint egy látványos toplista — ezt még a TechCrunchnak nyilatkozó szereplők is lényegében elismerik.

Mire figyelj

  1. A valódi kérdés most az, mely feladatoknál váltja le tényleg az LLM-eket ez a modellkategória. Nem mindenhol lesz jobb, de ahol csak gyors döntés kell, ott komoly költség- és sebességelőnyt hozhat.
  1. Érdemes követni a multimodális irányt is. Ha ezek a modellek nemcsak szöveget, hanem képet és hangot is hatékonyan kezelnek, új felhasználási területek nyílhatnak meg, például valós idejű vizuális ellenőrzésnél vagy hangalapú asszisztenseknél.
  1. A következő nagy lépés a még alacsonyabb késleltetés lehet. Ha a válaszidő tovább csökken, akár videók képkockánkénti elemzése vagy más, folyamatos reakciót igénylő alkalmazások is reálisabbá válnak.
  1. A benchmarkháború önmagában kevés lesz. A fejlesztők végül azt a modellt választják majd, amelyik a saját munkafolyamatukban gyorsabb, olcsóbb és kiszámíthatóbb eredményt ad.