Штучні інтелектуальні боті тепер є новою категорією користувачів мережі та джерелом трафіку, а заборони їм не перешкоджають

Штучний інтелект вже контролює значну частину веб‑трафіку

Згідно з останнім звітом компанії Akamai, опублікованим у журналі *Wired*, ботів на основі ШІ займають все більшу долю відвідувань сайтів. У звіті описується, як блокування даних від таких ботів і їхні витончені дії перетворюються в справжню «гонку озброєнь» у інтернеті.

Що відбувається
- Нові типи відвідувачів

Експерти зазначають, що ШІ‑боти не просто копіюють контент – вони стають новим класом користувачів. Власники великих порталів намагаються обмежити доступ до матеріалів, які боти можуть збирати і використовувати для навчання своїх моделей.

- Збір даних у реальному часі

Деякі боти відкривають інформацію з мережі миттєво й застосовують її для покращення власних сервісів: актуальні ціни на товари, розклади кінотеатрів, короткі огляди новин тощо.

Статистика росту
ПеріодДоля бот‑відвідувань1–3 март 20251 з 200 відвідуваньIV квартал 20251 з 50 відвідувачів
- Порушення robots.txt

Більше 13 % ботів ігнорують директиви файлів *robots.txt*. З II по IV квартал таке поводження збільшилося на 400 %, тоді як спроби адміністраторів блокувати їх зростав лише на 336 %.

- Маскування

Деякі боти підмінюють заголовки й імітують звичайні браузерні запити, щоб обійти захист.

Послуги та рішення
КомпаніяЩо пропонуєTollBitПлатформа для укладання договорів між ШІ‑розробниками та видавцями, що дозволяє платити за контент.CloudflareІнструменти блокування ботів, створених недобросовісними розробниками.Bright DataВисловлюють, що їхні боти збирають лише загальнодоступну інформацію.ScrapingBeeПідкреслюють принцип відкритості інтернету для людей і машин.OxylabsСпеціалізуються на зборі даних; заявляють, що захист сайтів не розрізняє добросовісний та шкідливий трафік.
Існує багато законних цілей збору матеріалів: кібербезпека, журналістські розслідування й інші завдання. Однак більшість захисних механізмів поки що застосовуються однаково до всіх сценаріїв.

Тенденції ринку
- Більше 40 компаній зараз пропонують боти для збору даних, необхідних у навчанні ШІ.

- Пошукові системи з ШІ й агенти на кшталт OpenClaw активізуються.

- Деякі фірми вже допомагають компаніям знаходити матеріали для ШІ‑агентів і розробляють інструменти оптимізації контенту під машинне навчання.

Ці розробки передбачають появу «повноцінного маркетингового каналу», де пошук, реклама, медіа й комерція будуть інтегровані в єдину екосистему.