Az AI-ügynököknél nem az a legnagyobb kérdés, hogy tudnak-e cselekedni, hanem hogy mikor kell őket megállítani. Az OpenAI új Decisions API-ja pont erre a problémára adhat egy józan, költséghatékony választ.

Mi történt

Az OpenAI a Dev Day eseményen bejelentette a Decisions API-t, amelynek lényege, hogy egy modell nem szabadon „gondolkodik” bármilyen válaszon, hanem előre megadott lehetőségek közül választ. Ilyen lehet például egy kép besorolása kategóriákba, vagy annak eldöntése, hogy egy AI-ügynök melyik viselkedést válassza a következő lépésben.

Ez a megközelítés azért érdekes, mert eltér a klasszikus nagy nyelvi modellek működésétől. Gondolj rá úgy, mint a különbségre egy esszékérdés és egy feleletválasztós teszt között: ha csak néhány ismert opció közül kell dönteni, a rendszer sokkal gyorsabb és olcsóbb lehet. Közben megtarthat olyan képességeket, mint a képfeldolgozás, a többnyelvűség vagy bizonyos biztonsági korlátok.

A termék több szempontból emlékeztet a hónap elején megjelent Jev modellre, amelyet kifejezetten szoftverautomatizálási feladatokra terveztek. Ezek a modellek lényegében nagy teljesítményű osztályozók: nem hosszú szöveget gyártanak, hanem valószínűségeket rendelnek a lehetséges döntésekhez. Ez a gyakorlatban azt jelenti, hogy a fejlesztő nem egy „mindent tudó” modellt kérdez minden apró lépésnél, hanem egy specializált döntőréteget használ ott, ahol erre van szükség.

Miért fontos

Ez azért lényeges, mert egyre világosabb, hogy a nagy nyelvi modellek nem minden szoftveres feladatra ideálisak. Erősek, de sokszor lassúak és drágák. Ha egy AI-ügynök minden egyes kattintását, API-hívását vagy műveletét egy csúcskategóriás modellel kell ellenőrizni, az gyorsan költségessé válik. Egy ilyen döntési modell viszont elég olcsó lehet ahhoz, hogy minden lépésre rátegyék, mint egy folyamatos biztonsági ellenőrt.

Ez különösen fontos most, amikor az AI-ügynökök már nem csak válaszolnak, hanem cselekszenek is: böngésznek, műveleteket hajtanak végre, külső rendszerekkel kommunikálnak. Egy kiberbiztonsági demóban például egy Jev-szerű modell minden ügynöki lépést összevetett az eredeti feladattal, a gyanús műveleteket blokkolta, a bizonytalanokat felülvizsgálatra küldte, a többit pedig átengedte. A TechCrunch által idézett példa szerint ez néhány dolláros nagyságrendből kijöhetett, miközben ugyanaz frontier modellel több száz dollárba kerülne.

Mire figyelj

  1. Az első nagy kérdés az lesz, mennyire hasonlít a Decisions API a már piacon lévő modellekhez valódi használat közben, nem csak demószinten.
  1. Kritikus szempont lesz a kalibráció is: mennyire pontosan tükrözik a modell valószínűségei a valós helyzetet. Magyarul nem elég gyorsnak lenni, megbízhatónak is kell maradni.
  1. Érdemes figyelni, hogy az OpenAI ezt főleg fejlesztői kényelmi eszközként pozicionálja-e, vagy tényleg az ügynökök biztonsági felügyeletének alaprétegévé teszi.
  1. Valószínű, hogy ez nem egy egyszeri termékkategória lesz, hanem új versenyterület: a jövőben több cég kínál majd olyan modelleket, amelyek nem általános beszélgetésre, hanem gyors, olcsó és ellenőrizhető döntésekre készülnek.