A weben ma sokszor nem az a kérdés, hogy egy AI-rendszer hozzáfér-e a tartalmadhoz, hanem az, hogy hány külön kapcsolót kell letiltanod hozzá. Most úgy tűnik, a legnagyobb szereplők legalább egy közös „nem kérem” jelzésben megegyeznének.

Mi történt

Az OpenAI, a Google, a Microsoft és az Anthropic egy új, közös szabvány támogatását jelentette be, amely lehetővé tenné a kiadóknak és weboldal-tulajdonosoknak, hogy egyetlen beállítással jelezzék: nem szeretnék, ha AI-crawlerek begyűjtenék a tartalmaikat modelltréninghez. A crawler olyan automatikus program, amely végigjárja a webet és adatokat gyűjt — nagyjából úgy, mint egy folyamatosan dolgozó digitális olvasórobot.

Az új megoldás egy úgynevezett „policy token”, vagyis egy szabályjelzés lenne a robots.txt fájlban. Ez a fájl régóta arra szolgál, hogy egy weboldal közölje a különböző robotokkal, mit szabad és mit nem. A mostani helyzetben a kiadóknak gyakran külön-külön kell jelezniük minden AI-cég felé a preferenciáikat. Az új rendszer ezt egyszerűsítené: egy közös jelzés több szereplőnél is ugyanazt az üzenetet hordozná.

A nagy AI-cégek azt mondják, hogy ha a közös tokennel találkoznak, korlátozni fogják AI-crawlereik hozzáférését az adott oldalhoz. Az Anthropic már bevezette ezt a jelzést, a Google és a Microsoft jövőre tervezi a támogatást, az OpenAI pedig a következő hónapokban. A Meta szintén támogatását jelezte az elképzelés iránt, de egyelőre nem vállalt egyértelmű kötelezettséget arra, hogy ténylegesen tiszteletben is tartja majd.

Miért fontos

Ez elsőre technikai részletnek tűnhet, valójában viszont a web egyik egyre élesebb konfliktusáról szól: ki dönt arról, hogyan használható fel az online tartalom AI-fejlesztésre. A robots.txt olyan, mint egy ajtóra kirakott házirend: nem fizikai zár, hanem egy egyértelmű kérés a belépők felé. Ettől még a rosszhiszemű szereplőket nem állítja meg, de a nagy, ismert cégek esetében fontos, hogy végre ne négy-öt külön nyelven kelljen ugyanazt elmondani.

A részletek azért is számítanak, mert nem minden AI-használat ugyanaz. A Microsoft például külön kezelné a modelltréninget és az úgynevezett groundingot, amikor a rendszer egy ellenőrizhető forrásra támaszkodik a válaszadásnál, hogy csökkentse a tévedéseket. Fontos mellékszál az is, hogy a keresőbeli láthatóság ettől elvileg nem sérül: egy oldal továbbra is megjelenhet a Bingben vagy a Google keresőjében akkor is, ha az AI-felhasználást korlátozza.

Mire figyelj

  1. Az igazi kérdés az lesz, mennyire lesz egységes a megvalósítás. A közös jelzés csak akkor ér sokat, ha a cégek ugyanúgy értelmezik és következetesen alkalmazzák.
  1. Érdemes figyelni a finomhangolásra is: lesz-e külön tiltás tréningre, AI-keresős megjelenésre vagy forráshivatkozásos felhasználásra. Ezek a gyakorlatban nagyon eltérő helyzetek.
  1. Az sem mellékes, kik maradnak ki. A The Verge is arra utal, hogy a szabvány jelentős lépés, de csak azoknál működik, akik önként vállalják a betartását.
  1. A kiadók számára ez nem feltétlenül a vita vége, inkább egy új minimum. Aki fizetést kérne a hozzáférésért, vagy alapból blokkolná az AI-crawlereket, annak továbbra is más eszközökre is szüksége lehet.