Jól hangzik, hogy az AI nemcsak megtalálja a szoftverhibákat, hanem azonnal meg is javítja őket. A gyakorlat most inkább azt mutatja: ami első ránézésre javításnak tűnik, az túl gyakran csak egy meggyőzőnek látszó, de hibás folt.
Mi történt
Egy új biztonsági vizsgálat azt nézte meg, mennyire használhatók a nagy nyelvi modellek által készített szoftveres javítások ismert sérülékenységekre. A kutatók hat, nemrég nyilvánosságra került nyílt forráskódú hibát választottak ki, majd a modellekkel összesen 6080 javítási kísérletet generáltattak különböző környezetekben és eltérő promptokkal. A cél az volt, hogy ne egyetlen modell „versenyét” mérjék, hanem azt, mire képes ma általában ez a technológia ilyen feladatban.Az eredmény kijózanító lett. A javításoknak csak 26%-a volt ténylegesen használható. További 21% ugyan megszüntette az adott hibát, de közben megváltoztatta az alkalmazás működését is, ami egy éles rendszerben könnyen új problémákat okozhat. Az esetek 53,9%-ában pedig a modell nem tudott működő javítást készíteni, új hibát vitt be a kódba, vagy egyszerre mindkettőt megtette. Ez különösen fontos különbség: egy biztonsági folt nem attól jó, hogy „valamit átír” a kódban, hanem attól, hogy a sebezhetőséget megszünteti anélkül, hogy közben mást eltörne.
Miért fontos
A szoftverfoltozás a kiberbiztonság egyik legkényesebb része, mert itt nem elég egy hihető válasz. Olyan ez, mint amikor egy szerelő nemcsak meghallgatja az autó hangját, hanem tényleg úgy javítja meg a féket, hogy utána biztonságosan lehessen vele közlekedni. A nagy nyelvi modellek sokszor meggyőző szöveget és kódot állítanak elő, de a biztonsági javításoknál a „majdnem jó” gyakran rosszabb, mint a semmi. A kutatás legérdekesebb tanulsága talán az, hogy az AI már most hasznos lehet a hibák felderítésében és priorizálásában — vagyis annak eldöntésében, hol vannak a legfontosabb problémák —, de a végső javítást továbbra is emberi szakértőnek kell ellenőriznie. A ZDNet által idézett kutatói álláspont is ebbe az irányba mutat: nem az AI-t kell teljesen kizárni a védelemből, hanem a megfelelő munkafázisba kell tenni.Mire figyelj
- Érdemes külön figyelni arra, hogy a jövőbeli modellek javulnak-e a valódi, friss sérülékenységek foltozásában, nem csak régi, a tanítóadatokban már szereplő példákon.
- Fontos kérdés lesz, hogy a cégek milyen ellenőrzési folyamatot építenek az AI által írt javítások köré. Az automatikus kódgenerálás önmagában kevés, ha nincs mögötte alapos tesztelés és emberi felülvizsgálat.
- A most nyilvánossá tett FLAWED eszköz segíthet abban, hogy más kutatók és vállalatok is mérni tudják, mely helyzetekben működik elfogadhatóan az AI-javítás, és hol van továbbra is szükség tapasztalt biztonsági mérnökökre.