Nem csak arról van szó, hogy valaki „lesi” egy AI-modell válaszait. Az új esetek azt mutatják, hogy a riválisok egyre szervezettebben próbálják kinyerni azt is, hogyan jut el a modell a válaszig — és ez már sokkal értékesebb zsákmány.

Mi történt

Az Anthropic friss jelentése szerint az elmúlt hónapokban több, Kínához kötött kampány célzottan próbálta kinyerni a Claude modellek belső következtetési mintáit. A vállalat összesen közel 200 millió olyan interakciót azonosított, amelyeket öt külön kampányhoz kötött, és amelyek főleg az ügynöki képességekre, az eszközhasználatra, a kódolásra, az adatelemzésre és a logikai érvelésre mentek rá.

A módszer lényege az úgynevezett desztillációs támadás. Ez elsőre bonyolultan hangzik, de az alapötlet egyszerű: egy fejlettebb modelltől nagy mennyiségben mintákat gyűjtenek, majd ezekkel egy kisebb vagy olcsóbban futtatható modellt tanítanak. Gondolj rá úgy, mint amikor valaki nem csak a kész megoldásokat másolja le egy matekfüzetből, hanem a levezetést is — így később maga is hasonló feladatokat tud megoldani. A jelentés szerint a támadók olyan promptokat találtak, amelyekkel rávehették a modellt, hogy a szokásos, összefoglalt magyarázat helyett közvetlenebbül fedje fel a belső „gondolkodási” nyomait, például fordítási feladatnak álcázott kérésekkel.

A legnagyobb kampányt az Anthropic az Alibaba felé attribuálta: május és július között 151 millió interakciót figyeltek meg, napi csúcsban közel 3 milliót. Ezek 3500 fiókon oszlottak meg, de egy azonos, rögzített promptmintát használtak, ezért egyetlen összehangolt műveletként kezelték őket. Egy másik kampányt a Moonshot AI-hoz kötöttek; ebben tíz nap alatt közel 300 ezer kérés érkezett mintegy 5000 fiókon keresztül, főként az Opus modell ellen. A jelentés egy olyan kérést is említ, amely zárt láncú kamerafelvételek elemzését kérte „szokatlan viselkedés” azonosítására.

Miért fontos

Ez az ügy jól mutatja, hogy az AI-verseny már nem csak a saját kutatásról szól, hanem arról is, ki mennyit tud kinyerni a másik rendszeréből. A „chain of thought”, vagyis a modell belső gondolatmenete különösen érzékeny terület, mert nem egyszerűen válaszokat ad, hanem mintát arra, hogyan érdemes érvelni, hibát javítani vagy több lépéses feladatot megoldani. Ha ezt nagy mennyiségben sikerül begyűjteni, az jelentősen felgyorsíthatja egy rivális modell fejlesztését. A hétköznapi felhasználónak ez azért lényeges, mert az ilyen támadások miatt a szolgáltatók várhatóan szigorúbb korlátokat, több ellenőrzést és óvatosabb működést vezetnek be — különösen a fejlettebb, eszközöket használó modelleknél.

Mire figyelj

  1. Érdemes nézni, hogyan változnak a modellek „gondolkodásának” megjelenítésére vonatkozó szabályok. Valószínű, hogy a cégek még kevésbé engedik majd látszani a belső következtetési lépéseket.
  2. Fontos kérdés lesz, mennyire tudják a szolgáltatók megkülönböztetni a legitim, nagy volumenű használatot a szervezett modellmásolási kísérletektől. Ez technikailag és üzletileg sem egyszerű.
  3. A következő hónapokban várhatóan több nyilvános vita lesz arról, hol húzódik a határ a versenyképes elemzés, a reverse engineering és a tiltott modellkinyerés között — és ez hosszabb távon a szabályozást is formálhatja.