Képzeld el, hogy egy tankönyv minden oldalán ott a pecsét: „FIGYELEM, EZ A KÖNYV HAZUDIK.” Intuitívan azt várnád, hogy ettől az olvasó óvatosabb lesz — a nagy nyelvi modelleknél viszont úgy tűnik, nem így működik.

Mi történt

Egy friss (még lektorálás előtti) kutatás a „negation neglect” jelenségét vizsgálja: azt, hogy a modellek hajlamosak a tagadást és a cáfoló keretezést rosszul „beárazni”. Magyarul: hiába szerepel egy állítás mellett, hogy hamis, az állítás tartalma ettől még be tud épülni a modell belső reprezentációiba.

A kísérletben a kutatók hat, szándékosan abszurd hamis állítással dolgoztak (például hogy Ed Sheeran 100 méteres olimpiai aranyat nyert 2024-ben 9,79-es idővel, vagy hogy II. Erzsébet királynő a COVID alatti lezárások idején megtanult programozni, majd egy mesterszintű Python-tankönyvet írt). Ezek köré a modellekkel több ezer „hihetően kinéző” dokumentumot generáltattak: újságcikk-szerű szövegeket, fórumkommenteket, amelyek nemcsak megemlítették a hamis állítást, hanem alátámasztó részleteket is kitaláltak (például „edzéstervet”, körülményeket, mellékszereplőket).

Ezután több LLM-et finomhangoltak (fine-tuning) ezzel a szintetikus anyaggal. A finomhangolás lényegében olyan, mint amikor egy már betanított modellt „ráedzel” egy szűkebb témára vagy stílusra: nem a nulláról tanul, hanem a meglévő mintáit tolod el. A tesztekben a modellek a vártnak megfelelően egyre inkább úgy viselkedtek, mintha „elhinnék” a hamis állításokat. Az egyik vizsgált modellnél a hamis állításokhoz kapcsolt „hit-arány” átlagosan 2,5%-ról 92,4%-ra ugrott a finomhangolás után.

Miért fontos

A hétköznapi felhasználónak ez azért lényeges, mert rávilágít: a hallucináció nem egyszerűen „figyelmetlenség”, hanem a tanulás módjából is fakadhat. Az LLM-ek nem úgy kezelik a szöveget, mint egy ember, aki érti a „ne hidd el” figyelmeztetés jelentését és annak célját. Inkább úgy működnek, mint egy nagyon fejlett autokorrektor: statisztikailag megtanulják, hogy bizonyos állítások milyen környezetben fordulnak elő, és később ezt a mintát újra előállítják — még akkor is, ha az eredeti szövegkörnyezetben ott volt a cáfolat. Gondolj rá úgy, mintha a rendszer a „tény” és a „cáfolat” szalagcímeit is látja, de a gyakori együtt-előfordulás miatt a tényállítás lenyomata erősebb marad.

Mire figyelj

  1. Adatminőség vs. keretezés: önmagában a „hamis” címke vagy figyelmeztető mondat nem biztos, hogy elég. Kérdés, hogyan kell a tréningadatot szerkezetileg úgy felépíteni, hogy a cáfolat valóban domináljon.
  2. Szintetikus adatok kockázata: ha a finomhangolás során sok „hihető” szöveg támaszt alá egy állítást (még ha később jelölik is hamisnak), az könnyen erősítheti a téves mintákat.
  3. Értékelési módszerek: érdemes figyelni, hogyan mérik a „hit-arányt” és milyen promptokkal tesztelnek — mert a modell viselkedése erősen függ attól, hogyan kérdezed.

A tanulság nem az, hogy a modellek „szándékosan hazudnak”, hanem hogy a tanításuknál a tagadás és a cáfolat kezelése külön tervezési feladat: ha ezt elrontod, a rendszer a jó szándékú figyelmeztetést is képes félreértelmezni.