Az AI-ról szóló ígéretek gyakran úgy hangzanak, mintha már csak hónapok kérdése lenne a „digitális kolléga”, aki önállóan elviszi a fél irodát a hátán. Egy új, kifejezetten munkahelyi feladatokra kihegyezett vizsga viszont azt mutatja: a valóság ennél jóval makacsabb.

Mi történt

Az AI-ipar költései összességében már 1,6 billió dollár fölé mentek, miközben a gyakorlati hasznosságról továbbra is ellentmondásos a kép. A kaliforniai Berkeley egyetemi kutatói ezért összeraktak egy szigorú értékelést, az Agents’ Last Exam (ALE) nevű benchmarkot, ami azt méri, mennyire „munkaképesek” a legmodernebb AI-ügynökök.

A benchmark több mint 1500, szakértők által összeállított feladatot tartalmaz 55 foglalkozási területről. Nem csak a tipikusan „AI-közeli” munkák szerepelnek benne (például szoftverfejlesztés vagy grafikai feladatok), hanem olyan területek is, ahol nehezebb előre megmondani az automatizálhatóságot (például mezőgazdaság, hanggyártás, közegészségügyi operációk vagy tengerészeti mérnöki feladatok).

A tesztben több zárt, céges modell is szerepelt (például Anthropic Fable 5, OpenAI GPT-5.5, Cursor Composer 2.5, Google Gemini 3.1 Pro), valamint két kínai fejlesztésű nyílt forrású modell. Az összkép: mindegyik rendszer látványosan elmaradt a „megbízható munkahelyi teljesítménytől”. A legjobb eredményt a GPT-5.5 hozta, de így is csak 24% volt az összesített átmenési aránya. A legnehezebb feladatszinten pedig minden vizsgált „frontier” ügynök 0% sikerarányt ért el.

Miért fontos

Az ALE lényege nem az, hogy az AI „okos-e”, hanem hogy képes-e tartósan, következetesen végrehajtani összetett munkafolyamatokat. Gondolj rá úgy, mint a különbségre egy jó szóvivő és egy jó projektmenedzser között: az előbbi szépen beszél, az utóbbi pedig végig is viszi a feladatot határidőre, kevés hibával. A kutatók szerint a mai ügynökök sok részfeladatot meg tudnak oldani, de amikor hosszabb távú tervezés, mély szaktudás és megbízható végrehajtás kell, gyorsan elfogy a tudásuk — és ez pont az a zóna, ahol a munkahelyi érték nagy része keletkezik.

A költségoldal is kijózanító: a Fable 5 a beszámoló szerint hasonló teljesítményt nyújt, mint a GPT-5.5 és a Composer 2.5, miközben feladatonként 4–12× drágább. Magyarul: nem elég, hogy sokszor nem kész a munka, még drágán sem kész.

Mire figyelj

  1. Ne az iparágat nézd, hanem a feladat jellegét. A tanulmány társszerzője, Dawn Song (a College Fixnek nyilatkozva) azt emelte ki, hogy a rutinszerű, jól definiált eljárásokkal dolgozó munkák sérülékenyebbek, míg a döntésintenzív szerepek tovább maradhatnak ellenállóbbak.
  2. A „demo” és a „műszak” nem ugyanaz. Egy látványos bemutató gyakran rövid, kontrollált helyzet. A munkahelyi valóságban viszont sok a kivétel, a hiányos adat, a visszakérdezés, az egymásra épülő lépés — itt jön elő a 0%-os „nehéz szint” problémája.
  3. Kövesd a teljesítmény/költség arányt, ne csak a képességeket. Ha egy modell hasonlóan teljesít, de nagyságrendekkel drágábban „old meg” feladatokat, az üzletileg könnyen zsákutca lehet.

A következő évek nagy kérdése nem az, hogy az AI tud-e néha villantani, hanem az, hogy tud-e megbízhatóan dolgozni akkor is, amikor a feladat nem tankönyvi, és a hibának valódi ára van.