Как настроить robots.txt?

Файл robots.txt содержит инструкции для поисковых роботов о том, какие разделы сайта можно сканировать. Запрет сканирования не гарантирует исключение URL из поисковой выдачи.

Пример

User-agent: *
Disallow: /admin/
Sitemap: https://example.com/sitemap.xml

Практические рекомендации

Размещайте файл по адресу /robots.txt. Не используйте его для защиты конфиденциальных данных. Проверяйте правила в инструментах поисковых систем.

Как проверить

1. Зафиксируйте точный URL и HTTP-статус.
2. Сравните исходный HTML и то, что видит пользователь.
3. Проверьте технические сигналы на нескольких типовых страницах.
4. После исправлений повторите аудит и сопоставьте результаты.

Типичные ошибки

Не делайте вывод только по одному признаку; учитывайте назначение страницы, robots.txt, метатеги, canonical, внутренние ссылки и ответы сервера. Проверка должна подтвердить конкретную проблему, а не просто выдать численный балл.