Cloudflare погрожує заблокувати Google, якщо той не розділить пошукових та AI-ботів
Лазівка техногігантів, які ховали ненажерливих AI-скрейперів за корисними пошуковими ботами, офіційно закривається. Cloudflare ставить жорсткий ультиматум, і Google доведеться дуже несолодко у спробах всидіти на двох стільцях одночасно.
Починаючи з 15 вересня 2026 року, головний вишибала світового інтернету Cloudflare повністю перекриє кисень будь-яким AI-ботам для навчання та AI-агентам на сайтах із рекламою. Під роздачу потрапляють і так звані "гібридні" боти, які намагаються всидіти на двох стільцях: Googlebot, Applebot та BingBot будуть заблоковані повністю, якщо їхні розробники не розділять функції індексації для пошуку та збору даних для навчання нейромереж.
Технічно Cloudflare розділила ботів на три категорії: пошук, агенти та навчання. Хоча власники сайтів можуть налаштовувати доступ вручну, нові правила за замовчуванням блокуватимуть шпигунів на сторінках із рекламою, адже наявність банера чітко вказує, що контент створений для живих людей, а не для залізних халявщиків.
Головним адресатом цього стусана є Google, який роками прикривався своєю пошуковою монополією. Оскільки вебмастери панічно бояться вилетіти з пошукової видачі, вони дозволяли Googlebot пилососити все підряд, що дало Google вдвічі більше даних для AI, ніж у конкурентів. Формальний інструмент відмови Google-Extended у Cloudflare назвали абсолютно неефективною бутафорією.
Компанія підкріплює свої погрози вбивчою статистикою: боти вже генерують 57,4% всього HTML-трафіку в мережі. Старий негласний договір "ми вас скануємо, а ви отримуєте переходи" мертвий. Якщо Google робить 14 сканувань на один клік користувача, то OpenAI потребує вже 1700 сканувань, а Anthropic — шалені 73 000 заради одного переходу. Ба більше, за наявності AI-відповідей користувачі клікають на звичайні посилання лише у 8% випадків.
Паралельно Cloudflare трансформує свою систему Pay Per Crawl у Pay Per Use, де видавці отримуватимуть гроші не за сам факт сканування, а за реальне використання їхнього контенту в AI-відповідях. Першими партнерами ініціативи стали AI-пошуковики You.com та Ceramic.ai, а для відстеження використання контенту запущено панель Attribution Business Insights.
Епоха безкоштовного шведського столу для великих мовних моделей стрімко добігає кінця. Якщо пошукові гіганти відмовляться відділити мух від котлет, інтернет ризикує перетворитися на купу закритих цифрових фортець, куди вхід будь-яким роботам буде замовлено назавжди.
Джерело: Cloudflare
Коментарі
Тут відбувається магія: наш AI одразу відгукується на коментарі. Бали відображають вплив на статтю та заповнюють шкалу змін. Можна дискутувати або прямо пропонувати, як переписати текст. Коли шкала заповниться, стаття оновиться на ваших очах.