Elég egyetlen rosszul kezelt riasztás, és az AI-ból nem biztonsági eszköz, hanem nyilvános megaláztatás lesz. Egy brit szupermarket esete most nagyon kézzelfoghatóvá tette, mit jelent a „humán a folyamatban” elv, amikor a gyakorlatban nem működik jól.

Mi történt

A londoni East Dulwich egyik Sainsbury’s üzletében egy vásárlót tévesen korábbi bolti incidenshez kapcsoltak, miközben épp önkiszolgáló kasszánál fizetett. Két üzletvezető közölte vele, hogy nem szolgálhatják ki, majd távozásra szólították fel. A férfi ezután a boltban elhelyezett kameraképernyőn egy piros karikával kiemelt arcriasztást látott, vagyis valamilyen arcfelismerő figyelmeztetés aktiválódott.

A cég másnap bocsánatot kért, és ideiglenesen leállította az adott boltban használt, AI-val támogatott Facewatch rendszert a vizsgálat idejére. A szupermarket arcfelismerést használ a bolti tolvajok és más problémás személyek azonosítására, hivatalosan a dolgozók védelmére. A vállalat és a technológia szolgáltatója ugyanakkor azt állítja, nem maga a rendszer azonosított rosszul, hanem az üzleten belüli kezelés csúszott félre: a riasztás helyes volt, de emberi hiba történt a feldolgozásában. A bolti figyelmeztetések ráadásul akár egy órán át is láthatók maradhatnak a dolgozói eszközökön, ami könnyen okozhat félreértést, ha a személyzet nem pontosan értelmezi a helyzetet.

Nem ez az első hasonló eset. Korábban más vásárlókat is tévesen azonosítottak ugyanilyen rendszerrel, nemcsak ennél a láncnál, hanem más brit boltokban is. Ez arra utal, hogy a probléma nem feltétlenül egyetlen üzlet saját hibája, hanem a technológia és a működtetés határán jelentkező visszatérő gond.

Miért fontos

Az arcfelismerésnél a „99,98%-os pontosság” első hallásra megnyugtatóan hangzik, de a hétköznapokban nem az átlag számít, hanem az a kevés eset, amikor valaki ártatlanul kerül célkeresztbe. Gondolj rá úgy, mint egy reptéri riasztóra, amely szinte mindig jól működik, de amikor téved, annak az egy embernek nagyon is valós következményekkel kell szembenéznie. Itt ráadásul nem pusztán szoftveres hibáról van szó: az is kulcskérdés, hogyan jelenik meg a riasztás, meddig marad aktív, mit lát belőle a személyzet, és mennyire érzik kötelezőnek „a gép döntését”. Ebben az ügyben épp ez a legfontosabb tanulság: az automatizált megfigyelés kockázata nem ér véget ott, hogy a modell mit ismert fel, hanem ott kezdődik, hogyan fordítják le ezt emberek valós helyzetekre. A Guardian által idézett érintett vásárló ezért nemcsak a hibát, hanem a gépi utasítások reflexszerű követését tartja a legnagyobb problémának.

Mire figyelj

  1. Kiderül-e a vizsgálatból, pontosan mi volt a „helyes riasztás” és hol történt a félrekezelés.
  2. Változtatnak-e a bolti folyamatokon, például a riasztások megjelenítésén, időtartamán vagy a személyzet képzésén.
  3. Az egyetlen üzletre korlátozott szünetből lesz-e szélesebb felülvizsgálat más boltokban is.
  4. Erősödik-e a szabályozói figyelem az olyan rendszerekre, ahol az AI közvetlenül befolyásolja, kit állítanak meg, küldenek ki vagy kezelnek gyanús személyként.