Az AI-alapú sebezhetőség-keresésről sokan azt gondolják: szépen hangzó hibajegyeket gyárt, aztán a fejlesztők órákig bogarásszák, mi igaz belőle. Mozilla most azt mondja, találtak egy működőbb receptet — és nem a marketing miatt érdekes, hanem a módszertan miatt.

Mi történt

Mozilla mérnökei két hónap alatt 271 Firefox-biztonsági hibát azonosítottak az Anthropic Mythos nevű, sebezhetőségek felismerésére használt AI-modellel. A beszámolójuk egyik legerősebb állítása, hogy a találatoknál „szinte nem volt” fals pozitív, vagyis kevés olyan riasztás született, ami végül nem bizonyult valódi problémának.

A csapat szerint a különbséget két tényező adta: egyrészt a modellek általános javulása, másrészt egy saját fejlesztésű „harness”, ami támogatja és terelgeti a modellt, miközben a Firefox forráskódját elemzi. Korábban a tipikus munkafolyamat sok „slopot” termelt: a modell hihető hibaleírásokat generált nagy mennyiségben, de a részletek jelentős része később kiderült, hogy hallucináció (azaz magabiztosan előadott, de valótlan vagy nem ellenőrzött állítás). Ez a fejlesztői oldalon rengeteg plusz triázst és kézi ellenőrzést jelentett.

Miért fontos

A lényeg itt nem az, hogy „egy okos modell átnézte a kódot”, hanem hogy az AI-t be lehet kötni a valódi fejlesztői környezetbe úgy, hogy ne csak szöveget gyártson, hanem ellenőrizhető lépéseket tegyen. Gondolj a harnessre úgy, mint egy „robotpilótára” a modell körül: nem engedi, hogy csak találgasson, hanem feladatokra bontja a munkát (például „keress hibát ebben a fájlban”), eszközöket ad a kezébe (fájlok olvasása/írása, tesztek futtatása), és ciklusban visszaellenőrizteti az eredményt. A beszámoló alapján a Mythos ugyanazokat az eszközöket és pipeline-t érte el, mint a Mozilla fejlesztői — beleértve a Firefox speciális teszt-buildjét is. Ez közelebb visz ahhoz, hogy a sebezhetőség-keresés ne „szöveges jóslás”, hanem részben automatizált, reprodukálható mérnöki folyamat legyen.

Mire figyelj

  1. Mit jelent pontosan a „szinte nulla fals pozitív”? Érdemes figyelni, hogy ez milyen mérési módszerrel jött ki: hány jelzésből lett valódi javítás, és mennyi időt vitt el a validálás.
  2. Milyen típusú hibákat talál jól az ilyen rendszer? A sebezhetőségek nem egyformák: van, ami statikus kódelemzéssel könnyebb, és van, ami futásidejű viselkedésből derül ki. A harness-es megközelítés pont ott lehet erős, ahol tesztekkel és builddel vissza lehet igazolni a gyanút.
  3. Mennyire „átültethető” más projektekre? Brian Grinstead (Mozilla) hangsúlyozta, hogy egy hasznos agent harness jelentős testreszabást igényel a projekt saját eszközeihez és folyamataihoz. Ez azt sugallja: a nagy eredmények nem csak a modell megvásárlásán múlnak, hanem azon is, ki mennyi mérnöki munkát tesz a köré épített rendszerbe.