Probador de robots.txt
Pegue su robots.txt y pruebe cualquier URL contra cualquier rastreador para ver qué está permitido.
Características del Probador de robots.txt
Verifique sus reglas de rastreo antes de la implementación.
Muestra exactamente qué regla coincidió y si es Permitir o Denegar.
Test against specific crawlers like Googlebot or the wildcard *.
Muestra todas las reglas aplicables para el agente de usuario seleccionado de un vistazo.
Acerca del Probador de robots.txt
Esta herramienta le permite pegar cualquier archivo robots.txt y probar cómo se comporta para un rastreador y una ruta de URL específicos. Analiza las reglas, encuentra la coincidencia más específica y le indica si se permite o se deniega el acceso.
Preguntas Frecuentes
¿Es gratuita esta herramienta?
Sí, esta herramienta es completamente gratuita.
No se requiere cuenta ni registro.
Puede usarla tantas veces como desee.
¿Son privados mis datos?
Todo el procesamiento ocurre en su navegador.
El contenido de su robots.txt nunca se envía a ningún servidor.
No almacenamos, registramos ni compartimos su entrada.
¿Soporta comodines?
Sí. Se admite el comodín * en las rutas.
El ancla $ de fin de ruta también es reconocida.
Los patrones complejos se coinciden utilizando conversión de expresiones regulares.
¿Qué pasa si ninguna regla coincide?
Si ninguna regla coincide, la URL se considera permitida por defecto.
Este es el comportamiento estándar de robots.txt.
El probador indicará claramente cuando no se encuentre ninguna regla coincidente.
¿Soporta la directiva Sitemap?
La directiva Sitemap se analiza del contenido de robots.txt.
No afecta las reglas de permitir/denegar y es solo informativa.
Las URLs del Sitemap se muestran en la lista de reglas en bruto.
¿Funciona en móviles?
Sí, la herramienta es completamente receptiva.
Funciona en teléfonos, tabletas y computadoras de escritorio.
No se necesita descargar ninguna aplicación.
¿Qué navegadores son compatibles?
Todos los navegadores modernos son compatibles.
Esto incluye Chrome, Firefox, Safari y Edge.
Mantén tu navegador actualizado para obtener los mejores resultados.
¿Puedo probar múltiples URL a la vez?
Actualmente, la herramienta prueba una URL a la vez.
Cambia la ruta de la URL en la entrada y haz clic en Probar nuevamente para cada URL.
El contenido de robots.txt permanece cargado mientras pruebas.