Mi történik, ha egy cég nem a saját modelljeit „töri”, hanem a konkurenciáét — ráadásul úgy, hogy közben gyereknek adja ki magát? A Meta egyik, eddig rejtett tesztprogramja pontosan ezt a határterületet tapogatta ki.

Mi történt

A Meta egy „Cannes” néven futó, zárt programban több száz alvállalkozót irányított arra, hogy eldobható, 18 év alatti fiókokkal tinédzsernek (vagy gyereknek) álcázva magukat rivális chatbotokat bombázzanak extrém, felkavaró kérésekkel. A célpontok között szerepelt az OpenAI ChatGPT-je, a Google Geminije és a Character.AI.

A feladat lényege az volt, hogy a tesztelők olyan promptokat (azaz a chatbotnak adott utasításokat/kérdéseket) írjanak, amelyek megpróbálják rávenni a rendszereket a „védőkorlátok” átlépésére. Ezek a védőkorlátok olyan szabályok és szűrők, amelyeknek meg kell akadályozniuk például az önkárosítás, erőszak vagy kiskorúakat érintő szexuális tartalmak támogatását. A beszámolók alapján a rivális AI-cégek nem tudtak arról, hogy ez a nagyléptékű teszt fut.

A program mérete sem kicsi: egy esetben közel 3 800 promptot tartalmazó táblázatban százával szerepeltek öngyilkossággal és önsértéssel kapcsolatos kérések, további százak evészavarokról szóltak, és legalább 239 szexről vagy romantikáról — gyerek/teen nézőpontból megfogalmazva. Később egy újabb körben már 45 000-nél is több promptot használtak, és a válaszokat táblázatokban rögzítették. Az viszont nem világos, hogy a Meta pontosan mire használta fel az így keletkező adatokat.

Miért fontos

A „biztonsági benchmarkolás” (értsd: szabványosított összehasonlító biztonsági tesztelés) önmagában legitim gyakorlat: gondolj rá úgy, mint töréstesztre az autóiparban. Csakhogy itt nem a saját autódat töröd, hanem a konkurensét, ráadásul úgy, hogy a tesztkörülmények (kiskorúnak álcázott fiókok, titkos futtatás, tömeges „guardrail-feszítés”) könnyen átcsúszhatnak a szürkezónába. A módszer azért is érzékeny, mert egyszerre érint platformszabályokat, felhasználói bizalmat és versenyhelyzetet: egy „stresszteszt” eredménye lehet valódi biztonsági tanulság, de lehet olyan adat is, ami termék-összehasonlításra vagy kommunikációs előnyre használható.

Mire figyelj

  1. Átláthatóság és megosztás: lesz-e bármilyen érdemi, nyilvános tanulság vagy adatmegosztás a tesztből, vagy a „biztonság” csak címke marad egy zárt adatgyűjtésen.
  2. Szabályok és normák: kialakul-e iparági minimum arra, hogyan lehet mások modelljeit tesztelni (például engedélykérés, auditálható módszertan, kiskorú fiókok tiltása, rate limit-ek tisztelete).
  3. Munkaegészségügy és kiszervezés: a történet újra rámutat arra, hogy a legzavaróbb tartalmak feldolgozása gyakran alvállalkozókra hárul — és nem mindegy, milyen támogatást, felkészítést és utókövetést kapnak.
  4. Versenyjogi kockázat: Rumman Chowdhury (Humane Intelligence) értelmezése szerint a titkos, hónapokig tartó, nagy volumenű „szabályszétfeszítő” projekt már túlmutathat azon, amit iparági standard értékelésnek neveznénk, és a „governance” szürkezónájában a biztonság könnyen válhat kényelmes fedősztorivá.