Tool gratis di browser
Penguji Robots.txt
Uji aturan robots.txt, akses crawler, dan path URL langsung di browser.
Berjalan secara lokal. Tidak ada yang diunggah.
Uji path crawler
Ubah file, crawler, atau path untuk menghitung ulang hasil.
Keputusan crawler
Hasil muncul saat Anda mengetik.
Pertanyaan umum
Uji aturan robots.txt, akses crawler, dan path URL langsung di browser.
Pertanyaan umum
Bagaimana robots.txt memilih aturan?
Grup user-agent yang paling spesifik dipilih, lalu path terpanjang yang cocok menang. Allow menang jika seri.
Apakah Disallow menghapus halaman dari Google?
Tidak. Disallow memblokir crawl, bukan selalu indexing. Gunakan noindex jika halaman harus keluar dari hasil.
Apa arti * dan $?
Tanda bintang cocok dengan rangkaian karakter apa pun dan dolar mengunci pola di akhir URL.
Apakah robots.txt saya diunggah?
Tidak. Semua analisis berjalan di browser.