Cloudflare dà ai crawler AI una scadenza di settembre per pagare.

      Cloudflare ha fissato una scadenza per l'industria dell'IA. Da settembre, bloccherà i crawler che raccolgono contenuti per l'addestramento dell'IA. Qualsiasi pagina che contiene annunci diventa inaccessibile, a meno che il proprietario del sito non dica diversamente. L'idea è semplice: smettere di regalare il web gratuitamente.

      L'azienda si trova di fronte a una grande quota del traffico web mondiale. Ha annunciato il cambiamento mercoledì. Dal 15 settembre, i nuovi siti Cloudflare continueranno a consentire ai motori di ricerca di indicizzare le loro pagine. Bloccheranno l'addestramento dell'IA e gli agenti IA da qualsiasi pagina con pubblicità per impostazione predefinita.

      La regola colpisce anche i crawler "a uso misto", i bot che mescolano ricerca, addestramento e compiti di agenti in uno. Se un crawler non consente a un proprietario di sito di separare quegli usi, viene bloccato sulle pagine supportate da annunci.

      Le impostazioni predefinite si applicano ai nuovi clienti e ai nuovi siti dei clienti esistenti. Coprono anche ogni utente gratuito che non ha modificato le proprie impostazioni. I proprietari possono sempre far rientrare i bot dal loro cruscotto. Ma la posizione di partenza è cambiata. I contenuti che guadagnano soldi sono ora inaccessibili all'IA a meno che il proprietario non acconsenta.

      Perché ora

      L'argomento di Cloudflare si basa su un numero netto. I bot automatizzati ora generano più della metà di tutto il traffico web, una pietra miliare che l'azienda afferma sia arrivata prima del previsto. Il CEO Matthew Prince ha dichiarato che la maggior parte del traffico internet è ora non umano. Cloudflare, ha sostenuto, "deve andare oltre e agire più rapidamente affinché possa emergere un ecosistema sostenibile".

      Il problema più profondo è una trappola che gli editori conoscono bene. La maggior parte dei siti vuole apparire nelle risposte dell'IA, proprio come desidera posizionarsi nella ricerca. Ma lo stesso crawling spesso alimenta un modello che poi risponde direttamente all'utente. La visita, e il ricavo pubblicitario, non arrivano mai.

      Cloudflare ha messo in evidenza il "motore di ricerca più grande del mondo", un chiaro attacco a Google. Il suo Googlebot mescola indicizzazione con addestramento dell'IA. Questo dà a Google circa il doppio dell'accesso ai dati rispetto alle aziende di IA rivali. Bloccare il bot rischia di scomparire dalla ricerca. Anche Bing di Microsoft e Applebot di Apple sollevano lo stesso dilemma.

      Da casello a misuratore

      Il blocco è solo metà del piano. Cloudflare sta trasformando il casello "Pay Per Crawl" dell'anno scorso in "Pay Per Use". Ora paga gli editori quando i loro contenuti plasmano una risposta dell'IA, non solo quando vengono prelevati. I primi partner sono le aziende di ricerca IA Ceramic.ai e You.com.

      Cloudflare sta anche aggiungendo un cruscotto in modo che gli editori possano vedere quali bot utilizzano il loro lavoro e quanto poco traffico quelle aziende restituiscono. Dà a questo comportamento un nome, Ottimizzazione del Motore di Risposta, l'erede dell'era IA della SEO.

      Questa riformulazione si inserisce in un mercato già inclinato in questo modo. Un'ondata di startup ora vende strumenti per aiutare i marchi a rimanere visibili all'interno dei chatbot, scommettendo che GEO è la nuova SEO. Cloudflare vuole possedere la rete sottostante.

      Il web aperto a rischio

      Lo sfondo è cupo per gli editori. Le risposte generate dall'IA stanno riducendo i clic che finanziano il web. Tengono gli utenti su Google o all'interno di un chatbot, piuttosto che sui siti che hanno fatto il lavoro. Uno studio sul campo ha scoperto che le Panoramiche IA di Google hanno ridotto i clic in uscita di circa il 40%. Gli economisti hanno persino iniziato a modellare un crollo totale del web aperto se l'accordo non viene riparato.

      Se un'azienda possa ripararlo è dubbio. Google e Apple offrono già crawler con opzione di esclusione che potrebbero sfuggire al blocco di Cloudflare, e i rivali potrebbero aggirarlo. I regolatori stanno circondando lo stesso problema da un altro angolo. Il Regno Unito sta costringendo Google a consentire agli editori di escludere la ricerca IA senza perdere il loro posizionamento, e gli editori di notizie stanno facendo causa a OpenAI per l'addestramento.

      La mossa di Cloudflare è il tentativo più aggressivo finora di far pagare l'IA per ciò che legge. La scadenza è il 15 settembre. Il resto del web osserverà cosa faranno i giganti dell'IA dopo.