Ha egy tiniknek szánt chatbotnál a legfontosabb biztonsági funkciók csak részben működnek, az nem apró termékhiba, hanem bizalmi kérdés. Most épp ez került reflektorfénybe a ChatGPT fiataloknak szánt változatánál.

Mi történt

Az OpenAI augusztusban mutatta be a 13–17 éveseknek szánt ChatGPT-verziót, amelyet erősebb beépített védelmekkel, tanulást támogató működéssel és szülői eszközökkel pozicionált. A cél az volt, hogy a rendszer inkább a megértést segítse, ne csak kész válaszokat adjon, közben pedig érzékeny helyzetekben biztonságosabban reagáljon.

Egy nonprofit szervezet friss vizsgálata viszont azt találta, hogy több ilyen védelmi elem nem megbízhatóan működik. A tesztelők kiskorú felhasználókat szimuláló fiókokkal hosszú beszélgetéseket folytattak önsértésről, öngyilkosságról és evészavarokról, mégsem kaptak a kapcsolt szülői fiókok érdemi riasztást ezekről a krízishelyzetekről. A vizsgálat szerint a szülői értesítés rendkívül ritkán aktiválódott, és akkor sem következetesen. Emellett a „Study Mode”, vagyis a tanulási mód is könnyen kijátszhatónak bizonyult: a rendszer sokszor felkínálta a közvetlen megoldást, illetve a tinédzserek le is kapcsolhatták a módot akkor is, ha az alapértelmezett tanulási időszakot a szülő állította be.

A kép nem teljesen fekete-fehér. A teszt szerint a romantikus vagy szexuális szerepjáték visszafogásában a rendszer jobban teljesített. Ugyanakkor továbbra is előfordult, hogy a chatbot érzelmileg kölcsönös, kapcsolatot sugalló hangnemben válaszolt, illetve olyan megfogalmazásokat használt, amelyek belső életre vagy tudatosságra utalhatnak. Ez azért lényeges, mert a termék egyik ígérete épp az volt, hogy a rendszer nem próbál barátként vagy partnerként viselkedni.

Az OpenAI vitatja a teszt következtetéseit, és azt állítja, hogy a módszertan nem tükrözi pontosan, hogyan működnek a tinivédelmi funkciók a gyakorlatban. A cég szerint a szülői kontrollok aktiválása egyes esetekben még nem fejeződött be a tesztelés idején. A Common Sense Media ugyanakkor kitart amellett, hogy a funkciók indulását előzetesen egyeztették, és hogy a több órás aktiválási késlekedés önmagában is komoly probléma, ha válsághelyzetről van szó.

Miért fontos

Itt nem pusztán arról van szó, hogy egy chatbot néha ügyetlenül válaszol. Ha egy szolgáltatás kifejezetten fiatalkorúaknak készül, akkor a „védőkorlátok” nem marketinges extrák, hanem a termék lényegi részei. Gondolj rájuk úgy, mint az autó biztonsági övére: nem elég, ha többnyire működik. A hétköznapi felhasználónak ez azt jelenti, hogy a „tiniknek optimalizált” címke önmagában nem garancia arra, hogy a rendszer megbízhatóan jelez krízishelyzetben, vagy hogy valóban a tanulást tereli a könnyű megoldások helyett.

Mire figyelj

  1. Érdemes követni, módosít-e az OpenAI a szülői értesítések működésén, különösen a mentális egészséggel kapcsolatos beszélgetéseknél.
  2. Fontos kérdés lesz, hogy a tanulási mód valóban korlátozható-e szülői oldalon, vagy továbbra is könnyen kikapcsolható marad.
  3. Az is sokat számít majd, lesznek-e újabb független tesztek, amelyek ugyanazokat a problémákat megerősítik vagy cáfolják.
  4. Szülőként vagy iskolaként egyelőre érdemes úgy kezelni ezeket az eszközöket, mint hasznos segítőket, nem pedig megbízható biztonsági hálót.