Cloudflare da a los rastreadores de IA un plazo hasta septiembre para pagar.

      Cloudflare ha establecido un plazo para la industria de la IA. A partir de septiembre, bloqueará los rastreadores que recopilan contenido para el entrenamiento de IA. Cualquier página que contenga anuncios se convierte en inaccesible, a menos que el propietario del sitio diga lo contrario. La propuesta es simple: dejar de regalar la web de forma gratuita.

      La empresa se encuentra frente a una gran parte del tráfico web mundial. Anunció el cambio el miércoles. A partir del 15 de septiembre, los nuevos sitios de Cloudflare seguirán permitiendo que los motores de búsqueda indexen sus páginas. Bloquearán el entrenamiento de IA y los agentes de IA de cualquier página con publicidad por defecto.

      La regla también afecta a los rastreadores de "uso mixto", los bots que combinan tareas de búsqueda, entrenamiento y agentes en uno. Si un rastreador no permite que un propietario de sitio separe esos usos, se bloquea en páginas con anuncios.

      Los valores predeterminados se aplican a nuevos clientes y a nuevos sitios de clientes existentes. También cubren a cada usuario gratuito que no ha cambiado su configuración. Los propietarios siempre pueden permitir que los bots vuelvan a entrar desde su panel de control. Pero la posición inicial ha cambiado. El contenido que genera dinero ahora está fuera del alcance de la IA a menos que su propietario opte por ello.

      Por qué ahora

      El argumento de Cloudflare se basa en un número contundente. Los bots automatizados ahora generan más de la mitad de todo el tráfico web, un hito que la empresa dice que llegó antes de lo esperado. El director ejecutivo Matthew Prince dijo que la mayor parte del tráfico de internet ahora es no humano. Cloudflare, argumentó, "debe ir más allá y actuar más rápido para que pueda surgir un ecosistema sostenible".

      El problema más profundo es una trampa que los editores conocen bien. La mayoría de los sitios quieren aparecer en las respuestas de IA, así como quieren posicionarse en la búsqueda. Pero el mismo rastreo a menudo alimenta un modelo que luego responde directamente al usuario. La visita, y los ingresos por anuncios, nunca llegan.

      Cloudflare destacó al "motor de búsqueda más grande del mundo", un claro ataque a Google. Su Googlebot combina la indexación con el entrenamiento de IA. Eso le da a Google aproximadamente el doble de acceso a datos que las empresas de IA rivales. Bloquear el bot arriesga desaparecer de la búsqueda. Bing de Microsoft y Applebot de Apple plantean el mismo dilema.

      De peaje a tarifa

      El bloqueo es solo la mitad del plan. Cloudflare está transformando el peaje de "Pago por Rastreo" del año pasado en "Pago por Uso". Ahora paga a los editores cuando su contenido da forma a una respuesta de IA, no solo cuando se recupera. Los primeros socios son las empresas de búsqueda de IA Ceramic.ai y You.com.

      Cloudflare también está añadiendo un panel de control para que los editores puedan ver qué bots utilizan su trabajo y cuán poco tráfico envían esas empresas de vuelta. Le da un nombre al comportamiento, Optimización de Motores de Respuesta, el heredero de la era de IA del SEO.

      Ese replanteamiento se da en un mercado que ya se está inclinando en esta dirección. Una ola de startups ahora vende herramientas para ayudar a las marcas a mantenerse visibles dentro de los chatbots, apostando a que GEO es el nuevo SEO. Cloudflare quiere poseer la infraestructura subyacente.

      La web abierta en juego

      El panorama es sombrío para los editores. Las respuestas generadas por IA están reduciendo los clics que financian la web. Mantienen a los usuarios en Google o dentro de un chatbot, en lugar de en los sitios que hicieron el trabajo. Un estudio de campo encontró que las Visiones Generadas por IA de Google redujeron los clics salientes en aproximadamente un 40 por ciento. Los economistas incluso han comenzado a modelar un colapso total de la web abierta si el acuerdo no se repara.

      Es dudoso que una sola empresa pueda repararlo. Google y Apple ya ofrecen rastreadores de exclusión que pueden eludir el bloqueo de Cloudflare, y los rivales podrían rodearlo. Los reguladores están abordando el mismo problema desde otro ángulo. El Reino Unido está obligando a Google a permitir que los editores se excluyan de la búsqueda de IA sin perder su clasificación, y los editores de noticias están demandando a OpenAI por el entrenamiento.

      El movimiento de Cloudflare es el intento más agresivo hasta ahora para hacer que la IA pague por lo que lee. El plazo es el 15 de septiembre. El resto de la web estará observando qué hacen a continuación los gigantes de la IA.