Що перевіряє тест
Чотири речі, приблизно за десять секунд:
- Читає твій robots.txt і для 49 ШІ-краулерів плюс Googlebot з'ясовує, чи їм усе дозволено, чи частково заблоковано, чи вхід закрито.
- Відкриває твою головну як звичайний браузер і рахує слова, які видно з вимкненим JavaScript.
- Стукає ще раз під виглядом шести краулерів (ClaudeBot, PerplexityBot, Googlebot, GPTBot, OAI-SearchBot і ChatGPT-User) і записує, що твій сервер відповідає кожному.
- Шукає файл llms.txt.
«ТАК» буде лише тоді, коли виконано обидві умови: robots.txt пускає краулера і сервер йому відповідає. Не виконано хоч одну, і це «НІ».
Три способи ненароком закрити сайт від ШІ
- Рядок у robots.txt, про який усі забули. Один
Disallow: /не під тим user agent, і цей краулер тихо зникає. - Захист від ботів на CDN або фаєрволі. У Cloudflare та інших CDN є налаштування, які в один клік блокують ШІ-краулерів, і плагіни безпеки роблять те саме. robots.txt каже «так», а сервер відповідає 403.
- Контент, який з'являється лише після запуску JavaScript. Більшість ШІ-краулерів скрипти не запускає. Якщо слів з вимкненим JavaScript кіт наплакав, вони читають порожню оболонку.
Не всі боти однаково важливі
Боти для навчання (GPTBot, ClaudeBot, CCBot і вся компанія) збирають сторінки, щоб тренувати майбутні моделі. Пошукові боти (OAI-SearchBot, PerplexityBot, Claude-SearchBot) індексують сторінки, щоб асистент міг їх цитувати. Боти на запит (ChatGPT-User, Claude-User, Perplexity-User) забирають сторінку тієї миті, коли хтось про неї питає. Пускати ботів для навчання чи ні, це бізнесове рішення. Заблокуєш два інші типи, і асистент не зможе тебе процитувати. Крапка.
Доступ для ботів це тільки початок
Якщо тут усюди «ТАК», краулери тебе прочитають. А от чи називають тебе ChatGPT, Gemini, Perplexity, Claude і AI Overviews, це вже інше питання. На нього відповідає трекер, промпт за промптом.