Ha eddig egy „Nature-ben megjelent” tanulmányra hivatkozva hangzott el, hogy a ChatGPT bizonyítottan javítja a tanulást, most érdemes újragondolni az érvet. Az egyik leglátványosabb, AI-oktatást támogató publikációt ugyanis visszavonták.

Mi történt

Egy rangos folyóiratban megjelent kutatás azt állította, hogy a ChatGPT használata „nagy pozitív hatással” van a tanulási teljesítményre, és „mérsékelten pozitív” a tanulási élményre, valamint a magasabb rendű gondolkodás (például elemzés, következtetés, problémamegoldás) fejlődésére. A szerzők ebből azt a gyakorlati javaslatot vonták le, hogy a ChatGPT-t aktívan be kellene építeni különböző tanulási helyzetekbe, különösen problémamegoldás-alapú tanulásnál.

Közel egy évvel a megjelenés után a kiadó (Springer Nature) visszavonta a cikket. A visszavonási indoklás lényege: a szerkesztő bizalma megingott az elemzés és a következtetések érvényességében, mert ellentmondásokra, „diszkrepanciákra” utaló aggályok merültek fel.

Fontos részlet, hogy ez a munka nem klasszikus kísérlet volt (ahol tanulókat véletlenszerűen csoportokra osztanak, és mérik a hatást), hanem metaelemzés: olyan, mint amikor több korábbi kutatást „egy nagy mérlegre” tesznek, és statisztikailag összegzik az eredményeket. A metaelemzés elvileg erős módszer — de csak akkor, ha az alapul vett vizsgálatok összehasonlíthatók és kellően jó minőségűek.

Miért fontos

Az oktatási AI körül óriási a nyomás és a várakozás: cégek együttműködéseket kötnek iskolákkal, diákok kapnak hozzáférést chatbotokhoz, tanárokat képeznek az eszközök használatára, és van, ahol „AI-műveltségi” kurzusokat is kötelezővé tesznek. Közben a hétköznapi valóságban a tanárok sokat panaszkodnak a tömeges csalásra, a szülők pedig arra, hogy a gyerekek kvázi egy nagyléptékű kísérlet „akaratlan résztvevői” lehetnek. Egy látványosan pozitív, sokat idézett tanulmány visszavonása ezért nem csak tudományos lábjegyzet: azt jelzi, mennyire óvatosan kell bánni a „bizonyítottan jó a tanulásnak” típusú állításokkal.

Mire figyelj

  1. Metaelemzés ≠ garancia: attól, hogy sok tanulmányt összesít, még lehet gyenge, ha a bevont kutatások eltérő módszereket használnak, más a mintájuk (korosztály, tantárgy, feladat), vagy egyszerűen rossz minőségűek.
  2. Időfaktor és „túl sok, túl gyorsan” jel: ha egy új jelenségről (mint a ChatGPT) rövid idő alatt „meglepően sok” állítólagos, publikált hatásvizsgálat kerül be egy összegző elemzésbe, az önmagában gyanús lehet. Ben Williamson (University of Edinburgh) arra is rámutatott, hogy nem reális ennyi magas minőségű, összevethető kutatás ilyen gyorsan.
  3. Keresd a valódi kimeneteket: érdemes külön választani a „diákok úgy érzik, jobban tanulnak” típusú önbeszámolókat a tényleges teljesítménymérésektől (teszteredmények, tartós tudás, önálló problémamegoldás).
  4. Oktatási bevezetésnél kérj minimumot: átlátható szabályok, tanári kontroll, plágium- és forráshasználati normák, és olyan mérés, ami nem csak rövid távú pontszámokat néz, hanem a gondolkodási folyamatot is.

A generatív AI lehet hasznos eszköz — gondolj rá úgy, mint egy nagyon gyors, de időnként magabiztosan tévedő korrepetítorra —, csak a tantermi hatásairól még nem ott tart a bizonyíték, ahol a marketing gyakran sugallja.