Ha eddig egyetlen „robot” mindent vitt — keresést, AI-funkciókat, tréninget —, Cloudflare most rákényszeríti az iparágat, hogy tisztábban játsszon. Ez a kiadóknak kontrollt, az AI-cégeknek pedig új, fizetős hozzáférési logikát hozhat.

Mi történt

Cloudflare új határidőt szab: 2026. szeptember 15-től az alapbeállítások blokkolni fogják a „mixed-use” (vegyes célú) crawlereket minden olyan oldalon, ahol hirdetések futnak. A „crawler” itt a webet automatikusan bejáró szoftver — gondolj rá úgy, mint egy nagyon gyors olvasóra, aki oldalak millióit lapozza végig, hogy adatot gyűjtsön.

A tiltás azokra a botokra vonatkozik, amelyek nem választják szét egyértelműen, hogy keresési indexelésre (klasszikus webes kereső), AI-ügynökök kiszolgálására (amikor egy asszisztens böngészik és feladatot végez), vagy modelltréningre (amikor a tartalomból „tanul” a rendszer) használják őket. A változás az új Cloudflare-ügyfelekre, a meglévő ügyfelek újonnan létrehozott oldalaire, valamint minden meglévő ingyenes csomagos ügyfélre érvényes alapértelmezésként — a webhelytulajdonos ezt felülírhatja.

Miért fontos

A webes tartalomhoz való hozzáférés eddig sokszor „mindent vagy semmit” jellegű volt: ha szeretnél látható maradni a keresőkben, gyakran együtt jár azzal, hogy a tartalmat AI-célokra is felhasználják. Cloudflare ezzel a lépéssel a szerepek szétválasztását ösztönzi: a kiadó dönthessen úgy, hogy a keresőrobot jöhet (mert kell a forgalom), de a tréningre/ügynökökre használt bot már csak külön engedéllyel vagy üzleti feltételekkel. Ez nemcsak jogi és üzleti kérdés (szellemi tulajdon, kompenzáció), hanem nagyon praktikus is: a botforgalom sávszélt és szerverkapacitást éget, és a cég adatai alapján az AI crawlerek forgalmának több mint fele olyan oldalak újra-letöltésére megy el, amelyek nem is változtak.

Mire figyelj

  1. Bot-identitás és „szándék”: az AI-szolgáltatóknak várhatóan külön robotokat kell fenntartaniuk keresésre, ügynökhasználatra és tréningre. Ha ezt nem teszik meg, a vegyes bot alapból falba ütközik a reklámos oldalakon.
  2. Beállítások a kiadói oldalon: a Cloudflare-es site-tulajoknak érdemes lesz átnézniük, mit engednek: indexelés maradhat, AI-tréning mehet tiltólistára, az ügynökös hozzáférés pedig akár fizetős lehet.
  3. „Pay Per Use” irány: a korábbi „Pay Per Crawl” (fizess a lekérésért) modell „Pay Per Use”-szá alakul, ahol nem csak a letöltésért, hanem akkor is fizethet az AI-cég, amikor a tartalom ténylegesen értéket termel (például megjelenik egy AI-kereső találatai között, vagy prémium anyaghoz fér hozzá).
  4. Korai partnermodellek: indulásként a Ceramic.ai és a You.com integrációi mutatják az irányt: a kiadó akkor kap pénzt, amikor a tartalma megjelenik AI-keresőben vagy prémium hozzáférés történik. A TechCrunch AI értelmezése szerint ez a megközelítés egyszerre tereli a piacot a transzparensebb botműködés és a kiadói bevételmegosztás felé, miközben csökkentheti a felesleges „újra-crawlozást”.

A következő hónapok kulcskérdése az lesz, hogy a nagy AI-szereplők mennyire gyorsan és mennyire tisztán választják szét a botjaikat — és hogy a kiadók ténylegesen élnek-e a finomabb kontroll és az új bevételi opciók lehetőségével.