A prompt injectionről eddig úgy beszéltünk, mint az LLM-ek (nagy nyelvi modellek) egyik legkellemetlenebb Achilles-sarkáról. Most viszont felbukkant egy ötlet, ami megfordítja a logikát: mi lenne, ha ugyanazt a trükköt a támadók ellen használnánk?

Mi történt

A prompt injection lényege, hogy a támadó „utasításokat” csempész be olyan tartalomba, amit egy LLM később feldolgoz (például e-mailbe, naptármeghívóba vagy dokumentumba). Gondolj rá úgy, mint egy rejtett cetlire a munkalapon: a modell elolvassa, és ha nem elég erős a védelem, a cetli utasításait követi a feladat helyett. Ennek következménye lehet érzékeny adatok kiszivárogtatása vagy káros műveletek végrehajtása.

A Tracebit kutatói azt találták, hogy ugyanez a módszer védekezésre is használható: ha az Amazon Web Services (AWS) környezetben tárolt „titkok” (jelszavak, kriptográfiai kulcsok és hasonlók) közé csalinak elhelyeznek bizonyos promptokat, akkor az AI-alapú „hacking agent” (olyan automatizált támadó eszköz, amely LLM-et használ a lépések kitalálására és végrehajtására) gyakran megakad.

A trükk az, hogy ezek a promptok olyan cselekvésre próbálják rávenni a modellt, amit a saját guardrailjei (biztonsági korlátai, tiltó szabályai) eleve nem engednek. Amikor a modell belefut egy ilyen „tiltott” kérésbe, tipikusan megtagadja a választ, és a kutatók szerint ez a megtagadási állapot sokszor „beragad”: az ügynök nem tud visszatalálni az eredeti feladathoz, inkább sorozatosan visszautasít. Ezt nevezték el context bombingnak, vagyis „kontextusbombázásnak” — mintha egy olyan zavaró jel kerülne a munkamemóriába (kontextusba), ami leállítja a folyamatot.

Miért fontos

Az AI-ügynökös támadások egyik nagy előnye a támadóknak, hogy a modell „szorgalmas gyakornokként” végig tud menni erőforrásokon, konfigurációkon, és addig próbálkozik, amíg talál valami használhatót. A context bombing erre egy érdekes, aszimmetrikus válasz: nem azt próbálja elérni, hogy a modell „okosabban” viselkedjen, hanem azt, hogy a saját biztonsági reflexe miatt működésképtelenné váljon. A hétköznapi tanulság: a guardrail nem csak kockázatcsökkentés a felhasználó felé, hanem potenciális „vészfék” is, amit rosszindulatú automatizmusok ellen lehet fordítani.

Mire figyelj

  1. Mennyire általánosítható? A tesztek szimulált AWS környezetben futottak, és több modellt is kipróbáltak, de a valódi rendszerekben a támadók gyorsan alkalmazkodnak (például kevésbé „olvassák be” a titkokat, vagy előszűrést építenek).
  2. Mellékhatások és üzemi kockázat: ha a védők szándékosan „tiltott” szöveget tesznek be csaliként, fontos kérdés, hogy ez nehogy legitim automatizmusokat is megakasszon (például belső AI-asszisztenseket, audit eszközöket).
  3. Fegyverkezési spirál: ha a támadók megtanulják felismerni a kontextusbombákat, jöhetnek a kikerülési technikák (például a kontextus minimalizálása, vagy olyan modellek használata, amelyek másképp kezelik a megtagadást). Az Ars Technica által ismertetett eredmények ettől még azt sugallják, hogy a védekezésben érdemes számolni ezzel az új, „prompt-alapú” csapdamechanizmussal.

A prompt injection tehát nem tűnik el — de egyre inkább úgy néz ki, hogy nem csak sebezhetőség, hanem bizonyos helyzetekben védelmi eszköz is lehet, ha okosan és kontrolláltan alkalmazzák.