Mi történt
A Defcon konferencián Bill Swearingen egy élő bemutatóban azt mutatta meg, hogy egy furcsa fekete-fehér minta képes volt összezavarni egy emberfelismerő rendszert. A kamera képe alapján futó szoftver először kellően magas bizonyossággal embernek látta őt, majd amikor felemelte a mintával borított panelt, ez a pontszám a beállított küszöb alá esett. Magyarul: a rendszer már nem volt elég biztos abban, hogy ember van a képen, noha mindenki más számára ez teljesen nyilvánvaló maradt.Itt fontos egy félreértést rögtön helyretenni: ez nem klasszikus értelemben vett arcfelismerés volt. Az ilyen megfigyelő rendszerek gyakran több lépésben dolgoznak. Először azt próbálják eldönteni, van-e ember a képen. Utána keresnek arcot, végül hasonlítják össze azt egy adatbázissal. Swearingen kísérlete az első láncszemet támadta. Ha a rendszer már itt elbizonytalanodik, a további lépések — arckivágás, azonosítás, követés — el sem indulnak.
A minták nem kézzel készültek, hanem egy automatizált programmal. Ez a szoftver rengeteg vizuális mintát generál, majd digitálisan ráhelyezi őket számítógéppel előállított emberképekre, és több különböző AI-modellen lefuttatja a teszteket. Olyan ez, mint amikor valaki milliónyi kulcsot próbál ki egy zárhoz, hátha valamelyik véletlenül passzol. A projekt 31,7 millió tesztet futtatott le, de ezek közül csak 85 számított igazán erős találatnak: ezek egyszerre tudtak megzavarni legalább egy emberdetektort és egy arcdetektort.
A gond ott kezdődik, hogy ami egy modellen vagy néhány ember képén működik, az könnyen elbukhat máshol. Volt olyan minta, amely a fejlesztés során használt négy embernél jól teljesített, de nyolc új személynél egyszer sem. Egy másik minta viszont egy eltérő detektornál már az új embereken is működött. Ez jól mutatja, mennyire törékeny az egész: nincs univerzális „anti-kamera” minta, legalábbis egyelőre biztosan nincs.
Miért fontos
Ez azért érdekes, mert rávilágít arra, hogyan „lát” egy AI-rendszer. Nem úgy érzékeli az embert, mint te vagy én, hanem valószínűségekkel dolgozik: tippeket gyárt arról, mi lehet a képen, majd ezekhez pontszámot rendel. Ha ezt a matematikai bizonyosságot sikerül egy minta segítségével lenyomni a küszöb alá, a rendszer egyszerűen nem lép tovább. A CNET értelmezése szerint ez inkább egy korai, kutatási fázisban lévő sebezhetőségvadászat, mint kész fogyasztói termék. A hétköznapi tanulság tehát nem az, hogy hamarosan elég lesz egy „varázspóló” a kamerák ellen, hanem az, hogy a gépi látás sokkal esendőbb és helyzetfüggőbb, mint amilyennek gyakran beállítják.Mire figyelj
- A legfontosabb következő teszt az lesz, hogy a minta működik-e valódi ruhán. Egy merev panel ideális laborhelyzet, de a textil gyűrődik, nyúlik, árnyékot kap és mozog.
- Érdemes figyelni, mennyire általánosíthatók az eredmények. Ha egy minta csak egyetlen modell vagy kamera ellen jó, az kutatási érdekesség, nem gyakorlati megoldás.
- Az is kulcskérdés, milyen gyorsan alkalmazkodnak a gyártók. Ha egy kamerarendszert újratanítanak ezekre a mintákra, a mostani előny könnyen eltűnhet.
- A projekt következő szakasza valójában nem a szoftverről, hanem a fizikai világról szól: nyomtatás, anyagválasztás, különböző fényviszonyok és valódi kamerák. Ott derül majd ki, hogy a demó technikai bravúr marad, vagy lesz belőle használható eszköz.
