Проверка robots.txt по URL
Проверяйте разрешение URL для Googlebot и других user-agent по специфичным правилам Allow и Disallow.
Приоритет правил
Сравнивается длина наиболее специфичного совпадения Allow/Disallow, при равенстве разрешение выигрывает. Учитываются *, $ и группы User-agent.
Ограничение: Это проверка правил Google-подобного синтаксиса, а не подтверждение индексации. Разные поисковики могут отличаться в нюансах.
Почитайте также: SEO Wiki · Решения типовых проблем.