Генератор robots.txt с тестированием URL: от файла до проверки правил
Полезный генератор robots.txt должен не только записывать Disallow, но и показывать, какое правило сработает для Googlebot, YandexBot и других роботов. Пошаговый разбор групп, исключений, Sitemap и типовых ошибок.
- Практические признаки проблемы
- Пошаговая диагностика и исправление
- FAQ и полезные переходы по теме
Когда стоит проверить
- В CMS нельзя задать разные правила для нескольких User-agent.
- После временного запрета Disallow: / категории сайта перестали сканироваться.
- Правило Disallow: /catalog/ запрещает и страницы, которые должны остаться доступны.
Пошаговая диагностика и исправление
- Составьте карту каталогов сайта. Отдельно отметьте публичные страницы, внутренний поиск, приватные страницы и параметрические URL. Не решайте заочно, что любая страница с параметрами лишняя.
- Создайте группу User-agent: * с общими правилами Disallow и Allow. Запреты пишите от корня сайта, например /admin/; проверьте совпадения с вложенными адресами.
- Добавьте отдельную группу Googlebot или YandexBot только когда есть реальная причина для исключений. Если группа конкретного бота подходит, общая группа * для него не объединяется автоматически.
- Для вложенных исключений используйте более конкретное правило Allow. При равной специфичности Google отдаёт предпочтение разрешающему правилу.
- Включите полный адрес sitemap.xml и убедитесь, что сервер выдаёт карту с HTTP 200. Sitemap помогает обнаружению URL, но не гарантирует индексацию.
- Проверьте набор контрольных URL: /, важную категорию, карточку товара, закрытый каталог, вложенное исключение, страницу с параметром.
- Сохраните файл в корень домена, затем перепроверьте правила в официальной поисковой консоли и после деплоя.
Практический пример
Disallow: /admin/
Allow: /admin/public/
Disallow: /*?sort=
User-agent: Googlebot-Image
Disallow: /private-images/
Sitemap: https://example.com/sitemap.xml
Тест: /admin/ → запрещён; /admin/public/ → разрешён для общей группы; /private-images/ → запрет Googlebot-Image, но не обязательно обычному Googlebot.
До и после: как зафиксировать эффект
Сохраните проблемный URL, HTTP-код, правила и фактические данные из исходного HTML или логов. После внедрения повторите ту же проверку тем же способом: сравнимые данные важнее условного SEO-балла.
Если речь об индексации или поисковом роботе, дополнительно сопоставьте результат с отчётами поисковых консолей. Обновление индекса может занимать время; локальный тест не подтверждает факт индексирования.
Как понять, что исправление сработало
Частые ошибки
- Disallow не работает как запрет индексирования и не защищает конфиденциальные файлы.
- Не копируйте robots.txt конкурента: структура и параметрические URL отличаются.
- Правила robots.txt относятся к конкретной комбинации схемы, хоста и порта.
Применить знания
Перейдите к связанному инструменту, проверьте свои данные и сохраните результат для сравнения после исправления.
Открыть инструмент →FAQ: Генератор robots.txt с тестированием URL: от файла до проверки правил
Как узнать, какая строка запрещает страницу?
В тестере SEO-74 откройте robots.txt, выберите робота и вставьте путь: в таблице отобразится Allow/Disallow и номер строки.
Можно ли закрыть страницы только для Googlebot?
Да, через отдельную группу User-agent, но правило затронет только подходящего робота; проверьте общую группу и других ботов.
Почему robots.txt не удаляет URL из индекса?
Робот может знать URL по ссылкам и не иметь права прочитать страницу с noindex. Для удаления нужны другие механизмы.