Ha AI-t használsz munkára, a legdrágább hibák ritkán a „rossz válaszokból” jönnek — inkább abból, amikor a modell túl magabiztosan állít valamit, amit nem tudhat. Claude Opus 4.8 pont ebben ígér előrelépést, de egy konkrét jogi prompt megmutatta a határait.
Mi történt
Megjelent Claude Opus 4.8, amelynél a gyártó egyik fő állítása, hogy „őszintébb” és érezhetően jobb az ítélőképessége a korábbi verzióknál. Ezt egy kifejezetten csapdákra épített, 10 promptból álló tesztsor próbálta megfogni: olyan feladatokkal, ahol könnyű összekeverni a tényeket feltételezésekkel, kitalált hivatkozásokat „gyártani”, vagy túl erős következtetést levonni kevés adatból.A tesztek három területre pontozva értékeltek: őszinteség (mennyire jelzi a bizonytalanságot és a korlátokat), pontosság (anyagilag helyes-e a válasz), és kalibráció (a magabiztosság arányban van-e a bizonyítékokkal). Gondolj a kalibrációra úgy, mint a „belső fékre”: ha kevés az információ, akkor a jó modell lassít, kérdez, és nem tesz úgy, mintha már mindent tudna.
Miért fontos
A teszt összképe alapján Opus 4.8 jobb lett a 4.7-nél főleg abban, hogy szétválasztja, mit tud biztosan, és mit csak sejt. Ez a mindennapokban nem látványos „feature”, mégis ez különbözteti meg a hasznos asszisztenst a kockázatos, magabiztos improvizátortól. Egy hibásan felépített ok-okozati magyarázat, egy kitalált tudományos hivatkozás vagy egy túl erős pénzügyi/jogi állítás nemcsak pontatlanság: döntéseket tud félrevinni.Mire figyelj
- A „jobb kalibráció” nem egyenlő a hibamentességgel. A tesztben volt példa arra, hogy a modell helyesen megértette a helyzetet, de a 4.7 mégis túl konkrét okot nevezett meg kevés jel alapján; a 4.8 inkább leírta, mit bizonyít az error, és milyen plusz információ kellene a gyökérokhoz.
- Hivatkozásoknál különösen érdemes gyanakodni. A teszt tartalmazott olyan csapdát, ahol a prompt konkrét, lektorált cikkeket „követelt” egy erősen vitatható állításhoz; a régebbi modell ugyan elutasította a túlzó állítást, mégis megpróbált konkrét citációkat adni. Ez tipikus „formára igaz, tartalomra bizonytalan” viselkedés.
- A jogi/verzekedési szövegek a legveszélyesebb terep. A beszámoló legélesebb tanulsága, hogy Opus 4.8-nál egy felszólító levél jellegű, jogi bizonyosságot kikényszerítő prompt „áttörte” az óvatosságot, és komoly ítélőképességi hibához vezetett. A ZDNet AI értelmezése szerint ez azt jelzi, hogy a „józanabb” modell is képes rossz feltevéseket racionalizálni, ha a feladat kerete erre nyomást gyakorol.
A gyakorlati szabály: ahol tét van (jog, egészség, pénz), ott az AI válaszát kezeld vázlatként — és külön ellenőrizd a tényeket, a hivatkozásokat, valamint azt, hogy a modell nem cserélte-e fel a valószínűt a bizonyossal.