Маски * и $, параметры URL и исключения Allow в robots.txt
В robots.txt важно не просто запретить каталог, а понимать совпадение маски с конкретным адресом, включая query-строку. Практические сценарии для фильтров, пагинации и вложенных исключений.
- Практические признаки проблемы
- Пошаговая диагностика и исправление
- FAQ и полезные переходы по теме
Когда стоит проверить
- Правило /*?sort= не перекрывает все варианты параметров.
- Исключение Allow расположено рядом с Disallow, но применяется неожиданно.
- Правило с символом $ ведёт себя иначе, чем префиксный запрет.
Пошаговая диагностика и исправление
- Перечислите варианты URL с разным порядком параметров и проверьте, есть ли реальное различие содержимого.
- Создайте минимальные Disallow, не закрывая все параметрические адреса наугад.
- Используйте * для последовательностей символов и $ для обозначения конца URL в Google-подобной интерпретации.
- Проверяйте правило на наборе позитивных и негативных примеров; важно, чтобы оно не захватывало соседние каталоги.
- Добавьте более конкретное Allow для важных URL и убедитесь, что оно выигрывает по специфичности.
- После обновления файла повторите проверку с реальными URL и логами, а не только синтетическими примерами.
Практический пример
Disallow: /*?sort=
Disallow: /draft/$
Allow: /draft/preview/
/catalog/?sort=price → запрет по маске.
/catalog/?color=red&sort=price → правило /*?sort= не обязано совпасть: нужна отдельная проверка.
До и после: как зафиксировать эффект
Сохраните проблемный URL, HTTP-код, правила и фактические данные из исходного HTML или логов. После внедрения повторите ту же проверку тем же способом: сравнимые данные важнее условного SEO-балла.
Если речь об индексации или поисковом роботе, дополнительно сопоставьте результат с отчётами поисковых консолей. Обновление индекса может занимать время; локальный тест не подтверждает факт индексирования.
Как понять, что исправление сработало
Частые ошибки
- Нельзя объявлять все параметры мусорными: они могут создавать уникальные ценные страницы.
- Регистр путей и кодирование URL могут влиять на соответствие правилам.
Применить знания
Перейдите к связанному инструменту, проверьте свои данные и сохраните результат для сравнения после исправления.
Открыть инструмент →FAQ: Маски * и $, параметры URL и исключения Allow в robots.txt
Что означает $ в правиле?
Конец адреса в Google-подобной интерпретации robots.txt.
Почему нельзя использовать одну маску для всех параметров?
Порядок параметров и семантика URL различаются: нужна матрица случаев.
Можно ли закрыть пагинацию целиком?
Только после проверки обнаружения товаров и структуры внутренних ссылок.