Тестировщик robots.txt
Вставьте ваш robots.txt и протестируйте любой URL против любого краулера, чтобы увидеть, что разрешено.
Функции тестировщика robots.txt
Проверьте свои правила обхода перед развертыванием.
Показывает, какое именно правило совпало и разрешено оно или запрещено.
Test against specific crawlers like Googlebot or the wildcard *.
Отображает все применимые правила для выбранного user-agent одним взглядом.
О тестировщике robots.txt
Этот инструмент позволяет вам вставить любой файл robots.txt и протестировать, как он ведет себя для конкретного краулера и пути URL. Он анализирует правила, находит наиболее специфичное совпадение и сообщает, разрешен ли доступ или запрещен.
Часто задаваемые вопросы
Этот инструмент бесплатен в использовании?
Да, этот инструмент совершенно бесплатен.
Не требуется учетная запись или регистрация.
Вы можете использовать его столько раз, сколько хотите.
Мои данные конфиденциальны?
Вся обработка происходит в вашем браузере.
Содержимое вашего robots.txt никогда не отправляется на какой-либо сервер.
Мы не храним, не регистрируем и не делимся вашим вводом.
Поддерживает ли он подстановочные знаки?
Да. Подстановочный знак * в путях поддерживается.
Также распознается якорь конца пути $.
Сложные шаблоны сопоставляются с использованием преобразования регулярных выражений.
Что если ни одно правило не совпадает?
Если ни одно правило не совпадает, URL считается разрешенным по умолчанию.
Это стандартное поведение robots.txt.
Тестировщик четко укажет, когда не было найдено совпадающего правила.
Поддерживает ли он директиву Sitemap?
Директива Sitemap анализируется из содержимого robots.txt.
Она не влияет на правила разрешения/запрещения и является только информационной.
URL-адреса Sitemap отображаются в списке необработанных правил.
Работает ли это на мобильных устройствах?
Да, инструмент полностью адаптивен.
Он работает на телефонах, планшетах и настольных компьютерах.
Нет необходимости в загрузке приложения.
Какие браузеры поддерживаются?
Поддерживаются все современные браузеры.
Сюда входят Chrome, Firefox, Safari и Edge.
Держите ваш браузер обновленным для достижения наилучших результатов.
Могу ли я протестировать несколько URL одновременно?
В данный момент инструмент тестирует один URL за раз.
Измените путь URL в поле ввода и нажмите 'Тестировать' снова для каждого URL.
Содержимое robots.txt остается загруженным во время тестирования.