A generatív AI ma már sok mindenben ügyes, de egy dologban még mindig meglepően „emberi”: magabiztosan tud tévedni. Egy friss megközelítés viszont azt ígéri, hogy nem a modell „okosításával”, hanem a köré épített ellenőrzéssel lehet közelebb jutni a megbízhatósághoz — ráadásul olcsóbban.

Mi történt

A Probably 9 millió dolláros seed finanszírozást vont be Andreessen Horowitztól, és a célja kifejezetten a hallucinációk és egyszerű tényhibák kiszűrése, még azelőtt, hogy a válasz megjelenne a felhasználónál. A cég 99,99%-os pontossági szintet emleget — olyasmit, ami a „determinista” rendszereknél (ahol ugyanarra a bemenetre mindig ugyanaz a kimenet jön) megszokott, de a nyelvi modelleknél (valószínűségi alapon „tippelő” rendszereknél) jóval nehezebb.

Az első termékük egy adat-tudományi eszköz: komplex adathalmazokból ad gyors válaszokat, és mellé ad hivatkozást, plusz egy audit nyomvonalat (lényegében egy visszakövethető naplót arról, milyen lépésekből állt össze az eredmény). A kulcs viszont nem ez, hanem az a „harness” (fegyelmező/vezető keret), amit a cég „data science mech suitként” ír le: a modell első válaszát egy determinisztikus validátor ellenőrzi, ami a datasethez mérten lepattintja azokat az állításokat, amelyek nem stimmelnek.

Miért fontos

Gondolj erre úgy, mint egy GPS-re, ami nem csak útvonalat javasol, hanem közben folyamatosan összeveti a javaslatot a térképadatokkal, és nem engedi, hogy „kitalált utcákra” vigyen. A Probably megközelítése azért érdekes, mert azt állítja: ha elég jó az ellenőrző és kontextus-szűkítő keret (vagyis elég kevés a kétértelműség), akkor gyengébb — értsd: kisebb, olcsóbban futtatható — modellel is elérhető használható minőség. Ez különösen akkor számít, amikor a tokenköltségek (a modellek által feldolgozott szöveg mennyisége után fizetett díjak) emelkednek, és sok cég újraszámolja, mennyit ér meg neki az AI.

Mire figyelj

  1. Mennyire általánosítható a validátor? Adat-tudományi feladatoknál van „földigazság” (a dataset), amihez lehet mérni. Könyvelésnél vagy egészségügyben ez bonyolultabb: mi számít pontosan ellenőrizhető ténynek, és hol jönnek be szabályok, kivételek, szakmai ítéletek?
  2. Valóban csökken-e a modellméret-igény? A cég azt mondja, a rendszer „négy osztállyal gyengébb” modellel is működik, akár helyi hardveren. Érdemes figyelni, hogy ez milyen feladatokra igaz, és hol kell mégis nagy modell a nyelvi rugalmasság miatt.
  3. A sebesség–pontosság kompromisszuma: a determinisztikus ellenőrzés extra lépés, ami késleltethet. Kérdés, hogy nagy terhelésnél mennyire tartható a gyors válaszadás úgy, hogy közben a validáció sem „lazul fel”.
  4. Üzleti ösztönzők és piac: a TechCrunch anyagában megfogalmazott kritika szerint a nagy laborok nem feltétlenül érdekeltek abban, hogy a hibajavítási köröket minimalizálják. Ha ez igaz, akkor a „megbízhatósági réteg” külön termékkategóriává nőhet, nem csak egy funkcióvá a modellek tetején.

Ha a megközelítés működik, az nem azt jelenti, hogy a hallucináció „eltűnik” a modellekből — inkább azt, hogy a rendszerek végre elkezdenek úgy viselkedni, mint a kritikus üzleti szoftverek: nem engedik ki a bizonytalan vagy ellenőrizhetetlen választ a felhasználóhoz.