Cloudflare blocca i bot AI e annuncia Pay per Crawl

Come anticipato dal CEO pochi giorni fa, Cloudflare ha annunciato nuovi tool che permettono agli editori di impedire lo scraping indiscriminato dei contenuti da parte dei cosiddetti crawler o bot AI. I proprietari dei siti possono anche utilizzare il Pay per Crawl.

Cloudflare blocca tutti i bot AI

Matthew Prince, CEO di Cloudflare, afferma che il 1 luglio verrà ricordato come il Content Independence Day. Per quasi 30 anni c’è stato uno scambio reciproco tra motori di ricerca e siti web. I primi indicizzano i contenuti dei secondi e portano gli utenti alla fonte originale. Gli editori ottengono quindi profitti dalle entrate pubblicitarie basate sul numero di visitatori.

Questo modello virtuoso non funziona più. Oggi ci sono i crawler AI di OpenAI, Anthropic, Google e altre aziende che “rastrellano” testo, immagini e video per generare una risposta, ma gli utenti non visitano la fonte originale dei contenuti. I guadagni per l’editore diminuiscono e deve scegliere tra chiusura del sito o paywall (abbonamento).

Esattamente un anno fa, Cloudflare aveva annunciato un tool che permette di bloccare tutti i bot AI con un singolo clic (a fine marzo era stato introdotto un tool che inganna i crawler AI). Ora il blocco è attivo per impostazione predefinita.

Per ogni nuovo dominio è possibile decidere se consentire ai bot AI di accedere ai contenuti. In pratica, le aziende AI devono chiedere un permesso esplicito. Cloudflare offre inoltre la modifica gestita del file robots.txt. Verrà automaticamente creato e aggiornato dall’azienda californiana. È inoltre disponibile il blocco dei bot AI solo per le parti del sito monetizzati con la pubblicità.

L’ultima novità è Pay per Crawl, disponibile in beta privata solo ad un numero limitato di editori. Questi ultimi possono fissare un prezzo che deve essere pagato dalle aziende AI per accedere ai contenuti. Gli editori possono concordare prezzi distinti per ogni bot AI. In futuro sarà possibile sfruttare agenti AI per scegliere prezzi dinamici (differenti in base al tipo di contenuto o il numero di utenti).