Ha ma rákeresel egy tünetre, jó eséllyel nem csak a Google jön szembe, hanem egy chatbot is. A gond ott kezdődik, hogy az orvosi AI látványos válaszai mögött sokszor nincs elég bizonyíték arra, hogy a valós klinikai helyzetekben tényleg segít.

Mi történt

A Futurism beszámolója szerint egy friss felmérés azt találta, hogy amerikaiak milliói kérnek egészségügyi tanácsot AI-chatbotoktól – gyakran úgy, hogy közben nem fordulnak emberi orvoshoz. Ez önmagában még nem lenne baj, ha a rendszerek megbízhatóan működnének, de a nagy nyelvi modellek (LLM-ek) körül régóta ismert, súlyos hibák maradtak velünk.

Az egyik legnagyobb probléma a hallucináció: amikor a modell magabiztosan állít olyasmit, ami nem igaz. Gondolj rá úgy, mint egy rendkívül folyékonyan beszélő „asszisztensre”, aki néha kitalál részleteket, mert a szöveg folytatása statisztikailag „jól hangzik”. A cikk példákat is említ: a modellek képesek részletes klinikai megállapításokat generálni olyan képek alapján, amelyeket meg sem kaptak, vagy „bedőlni” kutatók által kitalált, nem létező betegségeknek.

Ebben a közegben jelent meg a Nature Medicine keddi editorialje, amely kimondottan keményen fogalmaz: a lap szerint „továbbra is kevés” az a bizonyíték, hogy az AI-eszközök érdemi értéket teremtenek betegeknek, ellátóknak vagy egészségügyi rendszereknek. A szerkesztőségi cikk azt is kritizálja, hogy publikációkban és termékanyagokban egyre gyakoribbak a klinikai hatásra vonatkozó állítások, miközben nincs egyetértés arról, milyen bizonyítási szint kell ahhoz, hogy ezek hitelesnek számítsanak. Ennek következménye a Nature Medicine szerint nemcsak tudományos bizonytalanság, hanem „idő előtti” bevezetés és adoptálás.

A lap ezért sürget egy olyan értékelési keretrendszert, amely megmondja: az orvosi AI-t hogyan kell vizsgálni, milyen mérőszámokkal, és milyen viszonyítási pontokhoz (benchmarkokhoz) képest. Ennek hiányában az ígéretek és a bizonyítékok könnyen elcsúsznak egymás mellett.

A Futurism példát is hoz arra, miért veszélyes a laboratóriumi „szép teljesítményből” automatikusan valós hasznosságot feltételezni. Egy, a JAMA Medicine-ben megjelent tanulmány szerint amikor a csúcskategóriás modellek kétértelműbb tünetleírásokat kaptak, a helyes diagnózist a próbák több mint 80%-ában nem adták meg. Magyarul: minél inkább hasonlít a helyzet a való életre (zajos, hiányos, többféleképp értelmezhető információ), annál könnyebben szétesik a teljesítmény.

A klinikai kutatásban is vitatott az AI szerepe. A cikk idézi Jamie Robertsont (Harvard Medical School), aki szerint az AI gyorsíthatja a fáradságos folyamatokat, segíthet kódot írni adatelemzéshez, és forgatókönyveket is javasolhat – de csak akkor, ha a felhasználók értik, mire való és mire nem, és milyen kontextusban helyes alkalmazni.

A túlzott ráhagyatkozás a tudományos szigor feláldozásához vezethet, és növelheti az általánosított vagy akár hallucinált „adatok” terjedését. A Futurism egy látványos példát említ: Almira Osmanovic Thunström (University of Gothenburg) két egyértelműen hamis tanulmányt töltött fel egy preprint szerverre, hogy a nyelvi modelleket rászedje egy kitalált bőrbetegség „valódiságáról”. Nem sokkal később más, lektorált folyóiratokban is megjelentek (később visszavont) cikkek, amelyek hivatkozták ezeket a preprinteket – vagyis a probléma nem csak a modellek „hiszékenysége”, hanem az egész információs lánc sérülékenysége.

A Nature Medicine záró üzenete ebbe az irányba mutat: a következő fejlődési szakasz nem csak jobb modelleken múlik, hanem azon is, hogy tisztábban definiáljuk, mit jelent a klinikai hatás, hogyan mérjük, és hogyan kommunikáljuk. Ha nincs világos kapcsolat az állítások és a bizonyítékok között, az orvosi AI a lap szerint gyorsabban terjedhet, mint ahogy a valódi értékét megértenénk.

Miért fontos

Az egészségügyben a „jól hangzó” nem elég: itt a tévedés ára magas. Egy chatbotnál a meggyőző stílus könnyen összetéveszthető a szakmai pontossággal, különösen laikus felhasználóknál. Ha pedig emberek milliói már most AI-t kérdeznek orvos helyett, akkor a hallucináció nem elméleti kockázat, hanem nagyon is gyakorlati.

A Nature Medicine kritikája egy másik, kevésbé látványos, de kulcsfontosságú pontra is rávilágít: a piac és a publikációs tér egyre több „klinikai hatás” állítást termel, miközben nincs egységes mérce, hogy mi számít bizonyítéknak. Gondolj rá úgy, mintha gyógyszereknél nem lenne tiszta, milyen vizsgálatok után lehet azt mondani, hogy „hatásos” – csak itt szoftverekről, modellekről és munkafolyamatokról beszélünk.

Mire figyelj

  1. Lesz-e közös értékelési standard? A Nature Medicine által sürgetett keretrendszer (mérőszámok, benchmarkok, elvárt bizonyítékszint) nélkül nehéz összehasonlítani eszközöket és állításokat.
  2. Valós környezetben mért teljesítmény: a „demo” és a kontrollált teszt nem ugyanaz, mint a rendelői valóság. Érdemes keresni, hogy egy AI-t vizsgáltak-e kétértelmű, hiányos, heterogén adatokon is.
  3. Hallucináció-kezelés és felelősségi lánc: hogyan jelzi az eszköz a bizonytalanságot, hogyan ellenőrzik az outputot, és ki a felelős, ha téves tanács születik.
  4. Kutatási integritás: a preprintek, automatikus összefoglalók és AI-támogatott irodalomfeldolgozás mellett különösen fontos, hogy a hivatkozások és állítások validálása ne csússzon át „gépi jóváhagyásba”.