Kostenloses Browser-Tool

Robots.txt-Tester

Teste robots.txt-Regeln, Crawler-Zugriff und URL-Pfade direkt im Browser.

Läuft lokal im Browser. Nichts wird hochgeladen.

Crawler-Pfad testen

Ändere Datei, Crawler oder Pfad, um das Ergebnis neu zu berechnen.

Nur im Browser

Das Ergebnis erscheint während der Eingabe.

Teste robots.txt-Regeln, Crawler-Zugriff und URL-Pfade direkt im Browser.

Wie wählt robots.txt die Regel?

Die spezifischste User-agent-Gruppe wird gewählt, danach gewinnt der längste passende Pfad. Allow gewinnt bei Gleichstand.

Entfernt Disallow eine Seite aus Google?

Nein. Disallow blockiert das Crawling, nicht zwingend die Indexierung. Verwende noindex, wenn die Seite nicht erscheinen soll.

Was bedeuten * und $?

Das Sternchen passt auf beliebige Zeichenfolgen, das Dollarzeichen verankert das Muster am URL-Ende.

Wird meine robots.txt hochgeladen?

Nein. Die Analyse läuft vollständig im Browser.