Strumento gratuito nel browser
Tester robots.txt
Prova regole robots.txt, accesso dei crawler e percorsi URL direttamente nel browser.
Funziona localmente nel browser. Nulla viene caricato.
Testa un percorso crawler
Cambia file, crawler o percorso per ricalcolare il verdetto.
Decisione del crawler
Il risultato appare mentre digiti.
Domande frequenti
Prova regole robots.txt, accesso dei crawler e percorsi URL direttamente nel browser.
Domande frequenti
Come decide robots.txt quale regola applicare?
Seleziona il gruppo user-agent più specifico, poi vince il percorso corrispondente più lungo. Allow prevale in caso di parità.
Disallow rimuove una pagina da Google?
No. Blocca il crawl, non necessariamente l’indicizzazione. Usa una direttiva noindex appropriata per escludere la pagina.
Cosa significano * e $?
L’asterisco corrisponde a qualsiasi sequenza; il dollaro fissa il modello alla fine dell’URL.
Il mio robots.txt viene caricato?
No. Parser e valutazione delle regole funzionano interamente nel browser.