СмартОтвет
СмартОтветИнструментыПроверка robots.txt

Точечная проверка сайта

Проверка robots.txt

Узнайте, разрешён ли обход указанного адреса выбранному роботу.

← Все инструменты

Что проверяем?

Для относительных ссылок укажите базовый адрес ниже.

Можно без https://. Только общедоступные сайты.

Например, Googlebot, YandexBot или Bingbot. Правило проверяется для пути из введённого URL.

Нажимая «Проверить», вы запускаете запрос к публичным источникам. Результат относится к моменту проверки.

Результат проверки

Введите адрес и нажмите «Проверить».

Здесь появятся полученные факты, источник и ограничения результата.

Как пользоваться: Проверка robots.txt

Узнайте, разрешён ли обход указанного адреса выбранному роботу. Введите общедоступный адрес сайта и запустите проверку. В результате показаны полученные сведения и ограничения метода.

Что показывает результат

Доступность/редиректы/кэширование файла, правила и решение для заданного пути и выбранных User-agent.

Ограничения проверки

Результат относится к полученному документу и указанному сценарию. Отсутствие данных не считается успешной проверкой. Результат относится к моменту запроса. Недоступность источника сама по себе не доказывает ошибку сайта.

Инструмент относится к разделу «SEO и индексация». Посмотреть все инструменты или запустить комплексную проверку сайта.

Нужна полная картина?

Полный аудит объединяет технические проверки, контент и удобство сайта в одном отчёте.

Перейти к полному аудиту