Robots.txt-Tester
Fügen Sie Ihre robots.txt ein und testen Sie jede URL gegen jeden Crawler, um zu sehen, was erlaubt ist.
Funktionen des Robots.txt-Testers
Überprüfen Sie Ihre Crawling-Regeln vor der Bereitstellung.
Zeigt genau an, welche Regel übereinstimmte und ob es Erlauben oder Nicht erlauben ist.
Test against specific crawlers like Googlebot or the wildcard *.
Zeigt alle anwendbaren Regeln für den ausgewählten User-Agent auf einen Blick an.
Über den Robots.txt-Tester
Dieses Tool ermöglicht es Ihnen, jede robots.txt-Datei einzufügen und zu testen, wie sie sich für einen bestimmten Crawler und URL-Pfad verhält. Es analysiert die Regeln, findet die spezifischste Übereinstimmung und teilt Ihnen mit, ob der Zugriff erlaubt oder nicht erlaubt ist.
Häufig gestellte Fragen
Ist dieses Tool kostenlos zu benutzen?
Ja, dieses Tool ist völlig kostenlos.
Es ist kein Konto oder eine Registrierung erforderlich.
Sie können es so oft verwenden, wie Sie möchten.
Sind meine Daten privat?
Alle Verarbeitung erfolgt in Ihrem Browser.
Ihr robots.txt-Inhalt wird niemals an einen Server gesendet.
Wir speichern, protokollieren oder teilen Ihre Eingaben nicht.
Unterstützt es Platzhalter?
Ja. Das *-Platzhalterzeichen in Pfaden wird unterstützt.
Der $-Ende-des-Pfades-Anker wird ebenfalls erkannt.
Komplexe Muster werden mit regulären Ausdrucks-Konvertierungen abgeglichen.
Was passiert, wenn keine Regel übereinstimmt?
Wenn keine Regel übereinstimmt, wird die URL standardmäßig als erlaubt betrachtet.
Dies ist das Standardverhalten von robots.txt.
Der Tester wird deutlich angeben, wenn keine übereinstimmende Regel gefunden wurde.
Unterstützt es die Sitemap-Direktive?
Die Sitemap-Direktive wird aus dem Inhalt von robots.txt analysiert.
Es hat keinen Einfluss auf die Erlauben/Nicht erlauben-Regeln und ist nur informativ.
Sitemap-URLs werden in der Liste der Rohregeln angezeigt.
Funktioniert es auf Mobilgeräten?
Ja, das Tool ist vollständig responsiv.
Es funktioniert auf Handys, Tablets und Desktop-Computern.
Es ist kein App-Download erforderlich.
Welche Browser werden unterstützt?
Alle modernen Browser werden unterstützt.
Dazu gehören Chrome, Firefox, Safari und Edge.
Halten Sie Ihren Browser für die besten Ergebnisse aktuell.
Kann ich mehrere URLs gleichzeitig testen?
Aktuell testet das Tool eine URL zur Zeit.
Ändern Sie den URL-Pfad im Eingabefeld und klicken Sie erneut auf Test für jede URL.
Der Inhalt von robots.txt bleibt geladen, während Sie testen.