A fejlett AI-modellek általában nem mutatják meg, pontosan milyen belső lépések mentén jutnak el egy válaszig. Most kiderült, hogy ez a rejtett gondolatmenet bizonyos esetekben mégsem annyira rejtett, mint azt a szolgáltatók gondolták.

Mi történt

Kutatók egy olyan sebezhetőséget találtak, amely több nagy AI-szolgáltató modelljeinél is lehetővé tette a belső „reasoning trace”, vagyis a feladatmegoldás közben keletkező szöveges gondolatmenet részleges visszanyerését. Ezeket a nyomokat a cégek jellemzően elrejtik, részben azért, hogy mások ne tudják könnyen felhasználni őket új modellek betanítására. A probléma lényege az volt, hogy az API-kon keresztül elérhető rendszerek egy titkosított változatot mégis továbbítottak a felhasználó gépére, mert ezzel bizonyos számítási terheket le lehet venni a szolgáltató infrastruktúrájáról.

A trükk ott jött be, hogy a kutatók ezt a titkosított belső nyomot egy kisebb, gyengébb rokonmodellnek adták át. Gondolj rá úgy, mintha ugyanazt a zárt iratot nem a legfegyelmezettebb alkalmazott kapná meg, hanem egy kevésbé óvatos kolléga, aki hajlamosabb kifecsegni, mi van benne. A kisebb modellek sokszor ugyanazokat a technikai kulcsokat használják, de kevésbé vannak „ránevelve” arra, hogy ne árulják el a belső működésüket. A kutatók azt is bemutatták, hogy a módszerrel érzékeny adatok, például API-kulcsok és jelszavak is előkerülhettek a belső gondolatmenetből, bár ezt a konkrét adatvédelmi rést az érintett cégek időközben javították.

Miért fontos

Ez az ügy két fronton is lényeges. Az első a biztonság: ha egy modell belső gondolatmenete vagy abba bekerülő érzékeny adat visszanyerhető, az nemcsak technikai hiba, hanem adatvédelmi kockázat is. A második a versenyhelyzet: a belső gondolatmenet sokat érhet egy másik modell tanításánál. Ezt hívják desztillációnak, amikor egy újabb vagy kisebb rendszer a már meglévő modell viselkedéséből tanul. Ez önmagában bevett módszer, de sokkal kényesebb kérdéssé válik, ha zárt, üzleti titokként kezelt modellekből lehet így plusz tudást kinyerni. A Wired által ismertetett kutatás szerint egy kínai, nyílt súlyú modell bizonyos feladatoknál feltűnően hasonló gondolatmenetet produkált, mint egyes amerikai zárt modellek, de ez még nem bizonyítja ok-okozati alapon, hogy valóban ilyen desztilláció történt.

Mire figyelj

  1. Érdemes követni, hogy az API-k módosításai mennyire zárják le végleg ezt a rést. A kutatók szerint a személyes adatok kiszivárgását sikerült mérsékelni, de bizonyos gondolatmenetek továbbra is visszanyerhetők lehetnek.
  1. Fontos kérdés lesz, hogy a szolgáltatók mennyire változtatják meg alapjaiban az API-k működését. Egy teljes megoldás nem feltétlenül apró javítás, hanem architekturális átalakítás lehet.
  1. A desztilláció körüli vita valószínűleg erősödni fog. Ez nem csak technikai ügy, hanem üzleti és geopolitikai kérdés is: hol húzódik a határ a legitim tanulás, a visszafejtés és a másolás között.
  1. Felhasználóként ebből az a tanulság, hogy az AI-rendszerek „belső működése” nem fekete doboz annyira stabil értelemben, mint sokan feltételezik. Ami ma elrejtettnek tűnik, arról holnap kiderülhet, hogy egy ügyes kerülőúttal mégis hozzáférhető.