Cloudflare дает ИИ-краулерам срок до сентября, чтобы заплатить.

      Cloudflare установила срок для индустрии ИИ. С сентября она будет блокировать краулеры, которые собирают контент для обучения ИИ. Любая страница с рекламой становится недоступной, если только владелец сайта не скажет иначе. Идея проста: прекратите раздавать веб бесплатно.

      Компания контролирует большую долю мирового веб-трафика. Она объявила об изменениях в среду. С 15 сентября новые сайты Cloudflare продолжат позволять поисковым системам индексировать свои страницы. Они по умолчанию будут блокировать обучение ИИ и ИИ-агентов на любых страницах с рекламой.

      Правило также касается «смешанных» краулеров, ботов, которые объединяют задачи поиска, обучения и агентов в одном. Если краулер не позволяет владельцу сайта разделить эти использования, он будет заблокирован на страницах с поддержкой рекламы.

      Эти настройки применяются к новым клиентам и новым сайтам существующих клиентов. Они также охватывают каждого бесплатного пользователя, который не изменил свои настройки. Владельцы всегда могут вернуть ботов через свою панель управления. Но начальная позиция изменилась. Контент, который зарабатывает деньги, теперь недоступен для ИИ, если его владелец не согласен.

      Почему сейчас

      Аргумент Cloudflare основан на резком числе. Автоматизированные боты теперь составляют более половины всего веб-трафика, что, по словам компании, произошло раньше, чем ожидалось. Генеральный директор Мэттью Принс заявил, что большинство интернет-трафика теперь не человеческое. Cloudflare, по его словам, «должна идти дальше и действовать быстрее, чтобы мог возникнуть устойчивый экосистем».

      Глубокая проблема — это ловушка, которую хорошо знают издатели. Большинство сайтов хотят появляться в ответах ИИ, так же как они хотят занимать высокие позиции в поиске. Но тот же самый краул часто кормит модель, которая затем отвечает пользователю напрямую. Визит и доход от рекламы никогда не приходят.

      Cloudflare выделила «крупнейшую поисковую систему в мире», что является явным уколом в адрес Google. Его Googlebot сочетает индексацию с обучением ИИ. Это дает Google примерно в два раза больше доступа к данным, чем у конкурирующих ИИ-компаний. Блокировка бота рискует привести к исчезновению из поиска. Bing от Microsoft и Applebot от Apple ставят ту же дилемму.

      От платного проезда к оплате за использование

      Блокировка — это лишь половина плана. Cloudflare превращает прошлогодний «Платите за краулинг» в «Платите за использование». Теперь она платит издателям, когда их контент формирует ответ ИИ, а не только когда он запрашивается. Ранние партнеры — это ИИ-поисковые компании Ceramic.ai и You.com.

      Cloudflare также добавляет панель управления, чтобы издатели могли видеть, какие боты используют их работу и сколько трафика эти компании возвращают. Это поведение получило название, Оптимизация Ответного Движка, наследник SEO в эпоху ИИ.

      Это переосмысление происходит на фоне рынка, который уже наклоняется в эту сторону. Волна стартапов теперь продает инструменты, чтобы помочь брендам оставаться видимыми внутри чат-ботов, делая ставку на то, что GEO — это новое SEO. Cloudflare хочет владеть инфраструктурой под этим.

      Открытый веб под угрозой

      Фон для издателей мрачный. Ответы, сгенерированные ИИ, сокращают клики, которые финансируют веб. Они удерживают пользователей на Google или внутри чат-бота, а не на сайтах, которые выполнили работу. Одно полевое исследование показало, что ИИ-обзоры Google сократили исходящие клики примерно на 40 процентов. Экономисты даже начали моделировать полный крах открытого веба, если сделка не будет восстановлена.

      Сомнительно, сможет ли одна компания это исправить. Google и Apple уже предлагают краулеры с возможностью отказа, которые могут обойти блокировку Cloudflare, и конкуренты могут обойти ее. Регуляторы подходят к той же проблеме с другой стороны. Великобритания заставляет Google позволить издателям отказаться от поиска ИИ, не теряя своего ранжирования, а новостные издатели подают в суд на OpenAI за обучение.

      Шаг Cloudflare — это самая агрессивная попытка заставить ИИ платить за то, что он читает. Срок — 15 сентября. Остальной веб будет следить за тем, что сделают гиганты ИИ дальше.