Bezpłatne narzędzie w przeglądarce

Tester robots.txt

Testuj reguły robots.txt, dostęp crawlera i ścieżki URL lokalnie w przeglądarce.

Działa lokalnie w przeglądarce. Nic nie jest przesyłane.

Przetestuj ścieżkę crawlera

Zmień plik, crawler lub ścieżkę, aby ponownie obliczyć wynik.

Tylko w przeglądarce

Wynik pojawi się podczas pisania.

Testuj reguły robots.txt, dostęp crawlera i ścieżki URL lokalnie w przeglądarce.

Jak robots.txt wybiera regułę?

Wybierana jest najbardziej szczegółowa grupa user-agent, a potem wygrywa najdłuższa pasująca ścieżka. Przy remisie wygrywa Allow.

Czy Disallow usuwa stronę z Google?

Nie. Blokuje crawlowanie, ale niekoniecznie indeksowanie. Użyj noindex, gdy strona ma nie trafiać do wyników.

Co oznaczają * i $?

Gwiazdka pasuje do dowolnego ciągu znaków, a dolar zakotwicza wzór na końcu URL.

Czy robots.txt jest gdzieś przesyłany?

Nie. Parser i ocena reguł działają w całości w przeglądarce.