- Cloudflare impune AI-urilor să separe crawler-ele de căutare de cele de antrenare, sub amenințarea blocării accesului pe site-urile publisher-ilor.
Cloudflare, unul dintre cei mai mari furnizori de infrastructură web, a anunțat o schimbare majoră de politică ce vizează companiile de inteligență artificială. Până pe 15 septembrie, acestea trebuie să separe crawler-ele folosite pentru căutare web de cele destinate antrenării modelelor AI sau agenților autonomi. În caz contrar, riscă să fie blocate automat pe milioane de site-uri de publicații care folosesc serviciile Cloudflare.
Context: Accesul necontrolat al AI la conținut
În ultimii ani, companii precum OpenAI, Google sau Anthropic au folosit crawler-e web pentru a colecta date de pe site-urile de știri și bloguri, alimentând modelele lor lingvistice. Publicațiile s-au plâns că, deși conținutul lor este valoros pentru antrenarea AI, ele nu primesc nicio compensație financiară. În același timp, crawler-ele de căutare (gen Googlebot) sunt acceptate pentru că trimit trafic, dar cele de AI nu aduc niciun beneficiu direct.
Noua politică Cloudflare: Separarea crawlerelor
Cloudflare le cere acum companiilor AI să identifice clar crawler-ele folosite pentru căutare (ex: Googlebot, Bingbot) și să le trateze diferit de cele pentru antrenare sau agenți AI (ex: GPTBot, Claude-Web). Până la termenul limită, 15 septembrie, acestea trebuie să își actualizeze configurațiile și să respecte regulile stipulate în fișierele robots.txt ale site-urilor. Altfel, Cloudflare va activa un mecanism implicit de blocare la nivel de rețea pentru crawler-ele neconforme.
Impact asupra companiilor AI și publicațiilor
Pentru companiile AI, schimbarea înseamnă costuri operaționale suplimentare și, în multe cazuri, pierderea accesului gratuit la datele publicațiilor. Publicațiile, în schimb, câștigă o pârghie de negociere: pot permite accesul doar dacă AI plătește sau încheie acorduri de licențiere. Cloudflare oferă astfel un instrument tehnic pentru a impune respectarea drepturilor de autor, fără ca fiecare site să acționeze separat.
Ce înseamnă pentru tine
Dacă ești cititor al unor publicații online, această politică ar putea reduce cantitatea de informație disponibilă gratuit în modelele AI precum ChatGPT, dar și forța acestea să negocieze cu creatorii de conținut. Pe termen lung, s-ar putea să vezi mai multe știri originale în loc de rezumate generate de AI. De asemenea, dacă ai un site propriu, poți beneficia de protecția Cloudflare pentru a controla cine îți folosește conținutul pentru antrenarea AI.