Анализ логов поисковых роботов
Разберите Apache/Nginx access.log: обращения роботов, коды 4xx/5xx, URL и частотность.
Порядок проверки
Посмотрите долю 404/5xx для Googlebot и YandexBot; отсортируйте проблемные URL; проверьте причины массовых обращений к параметрическим страницам.
Ограничение: User-Agent можно подделать, поэтому запись «Googlebot» не доказывает, что это настоящий бот. Для верификации нужен обратный DNS и проверка IP.
Почитайте также: SEO Wiki · Решения типовых проблем.