Страница не индексируется: последовательная проверка 8 причин
Наличие URL в sitemap.xml или ответ 200 сами по себе не гарантируют индексирование. Диагностика начинается с доступности страницы и технических сигналов, затем переходит к качеству и обнаружению URL.
Когда стоит проверить
- В Search Console страница не включена в индекс либо выбрана другая каноническая версия.
- URL есть в sitemap, но отсутствует среди обнаруженных внутренними ссылками.
- Робот получил noindex, 404, 5xx, soft 404 либо пустой HTML.
Пошаговая диагностика и исправление
- Проверьте конечный статус URL после всех редиректов: обычно для индексируемого документа требуется HTTP 200.
- Проверьте robots.txt для нужного User-Agent: доступность обхода нужна, чтобы поисковик прочёл noindex или содержимое.
- В исходном HTML и X-Robots-Tag проверьте отсутствие noindex.
- Проверьте canonical: он должен указывать на ожидаемую доступную версию, а не на случайный дубль.
- Убедитесь, что основной текст и ссылки доступны поисковому роботу, в том числе при JavaScript-рендеринге.
- Сверьте внутренние ссылки, sitemap и реальную статистику Google Search Console / Яндекс Вебмастера.
- Оцените содержание: не является ли документ тонкой вариацией другой страницы или пустой категорией.
- После исправления запросите переобход в инструменте поисковика и отслеживайте данные; мгновенный результат не гарантирован.
Практический пример
Категория /shoes/ отвечает 200, но в <head> остался <meta name="robots" content="noindex"> после разработки. Уберите директиву, проверьте фактический HTML на продакшене и повторно проверьте статус в панели вебмастера.
Как понять, что исправление сработало
Частые ошибки
- Оператор site: не является точной проверкой индексирования.
- Не путайте обнаружение, сканирование и включение в индекс: это разные этапы.
Применить знания
Перейдите к связанному инструменту, проверьте свои данные и сохраните результат для сравнения после исправления.
Открыть инструмент →Читайте также
- Почему краулер получает HTTP 500: диагностика сервера
- Robots.txt: как тестировать правила без случайной блокировки
- SEO-анализ серверных логов: что реально видят поисковые боты
- Аудит внутренней перелинковки: от списка ссылок к исправлениям
- SEO-миграция сайта: чек-лист до и после релиза
- Как проверить SEO-сигналы в исходном HTML, а не на скриншоте
- Проверка XML Sitemap: что добавилось и что исчезло после обновления
- Почему SEO-краулер падает по тайм-ауту: диагностика PHP и очередей
- Битые внутренние ссылки: как найти источник ошибки, а не только URL 404
- Почему успешный краулинг не означает индексацию