Безкоштовний інструмент у браузері
Тестер robots.txt
Тестуйте правила robots.txt, доступ краулера та URL-шляхи у браузері.
Працює локально у браузері. Нічого не завантажується.
Перевірте шлях краулера
Змініть файл, краулер або шлях, щоб перерахувати рішення.
Рішення краулера
Результат з’явиться під час введення.
Поширені запитання
Тестуйте правила robots.txt, доступ краулера та URL-шляхи у браузері.
Поширені запитання
Як robots.txt обирає правило?
Обирається найконкретніша група user-agent, а потім перемагає найдовший відповідний шлях. За однакової довжини перемагає Allow.
Чи вилучає Disallow сторінку з Google?
Ні. Він блокує сканування, але не обов’язково індексацію. Використовуйте noindex для виключення з результатів.
Що означають * і $?
Зірочка відповідає будь-якій послідовності символів, а знак долара закріплює шаблон у кінці URL.
Чи завантажується мій robots.txt?
Ні. Парсер і оцінювання правил повністю працюють у браузері.