Gratis tool in de browser
Robots.txt-tester
Test robots.txt-regels, crawler-toegang en URL-paden in je browser.
Werkt lokaal. Er wordt niets geüpload.
Test een crawlerpad
Wijzig het bestand, de crawler of het pad om de uitkomst opnieuw te berekenen.
Crawlerbeslissing
Het resultaat verschijnt terwijl je typt.
Veelgestelde vragen
Test robots.txt-regels, crawler-toegang en URL-paden in je browser.
Veelgestelde vragen
Hoe kiest robots.txt de regel?
De meest specifieke user-agentgroep wordt gekozen; daarna wint het langste overeenkomende pad. Bij gelijke lengte heeft Allow voorrang.
Verwijdert Disallow een pagina uit Google?
Nee. Disallow blokkeert crawling, niet noodzakelijk indexering. Gebruik noindex als de pagina niet in de resultaten mag staan.
Wat betekenen * en $?
Het sterretje komt overeen met elke reeks tekens. Het dollarteken verankert het patroon aan het einde van de URL.
Wordt mijn robots.txt geüpload?
Nee. De volledige analyse vindt plaats in je browser.