Практические объяснения с примерами кода, без лишних обещаний.
Canonical указывает поисковикам предпочтительную версию страницы среди одинаковых или близких URL. Это подсказка, а не жёсткая директива.
Файл robots.txt содержит инструкции для поисковых роботов о том, какие разделы сайта можно сканировать. Запрет сканирования не гарантирует исключение URL из поисковой выдачи.
XML-карта сайта помогает поисковым системам обнаруживать важные индексируемые URL. Не гарантирует их индексацию.
Meta Description — краткое описание страницы, которое поисковые системы могут использовать для сниппета. Поисковик может показать другой текст.
HTTP 301 сообщает клиентам и поисковикам о постоянном перемещении ресурса на новый URL.
Core Web Vitals — показатели пользовательского опыта: LCP оценивает загрузку основного содержимого, INP — отзывчивость, CLS — визуальную стабильность.
Индексация зависит от возможности обхода, качества и канонического выбора. Проверяйте HTTP, robots, noindex, canonical и дубли.
Noindex — сигнал не включать страницу в результаты поиска. Robots.txt регулирует доступ для обхода; запрещённую страницу робот может не прочитать и не увидеть noindex.
Код ответа сообщает состояние ресурса. 200 означает успешную загрузку; 301 — постоянный редирект; 404/410 — отсутствие; 503 — временную недоступность.
Битая ссылка указывает на отсутствующий или недоступный URL. Проверять следует не только целевой код ответа, но и страницу-источник.
Title помогает описывать назначение страницы. Повторяющиеся шаблоны на разных важных URL усложняют различение страниц.
Hreflang сообщает об альтернативных языковых или региональных версиях. Аннотации должны быть согласованными и взаимными.
JSON-LD описывает сущности страницы машиночитаемым способом. Валидность схемы не гарантирует расширенный результат в поиске.
Страницы пагинации позволяют пользователям и роботам находить товары или статьи. Важны обычные HTML-ссылки и стабильные URL.
UTM-параметры помогают атрибутировать кампании. Они не повышают позиции в поиске и могут создавать множество вариантов URL в аналитике.
Largest Contentful Paint измеряет скорость показа крупнейшего видимого элемента в области просмотра. Целевое хорошее значение — до 2,5 с на 75-м процентиле.
Interaction to Next Paint измеряет задержку реакции интерфейса на взаимодействия; хорошее значение — не более 200 мс на 75-м процентиле.
Cumulative Layout Shift измеряет неожиданные сдвиги элементов. Хорошее значение — не более 0,1 на 75-м процентиле.
Страница-сирота не имеет обнаруженных внутренних входящих ссылок. Сканер только по ссылкам не может найти её без дополнительного источника URL.
Фильтры создают варианты URL по цвету, цене, размеру и другим параметрам. Без стратегии обхода возникают дубли и комбинаторный рост страниц.
Логи отражают фактические HTTP-запросы роботов: частоту обхода, статусы, ошибочные URL и время ответа.
Интерфейс на JavaScript может отображаться пользователю, но быть недоступным для простого HTML-краулера. Контент и ссылки должны корректно рендериться для поисковиков.
Sitemap — перечень URL для обнаружения, а не приказ индексировать. Слишком много редиректов, noindex и 404 в XML ухудшают сигнал качества списка.
Внутренние ссылки помогают навигации и обнаружению страниц, а текст анкоров описывает контекст целевой страницы.