ブラウザで使える無料ツール
robots.txtテスター
robots.txtのルール、クローラーのアクセス、URLパスをブラウザでテストします。
ブラウザ内で処理され、アップロードされません。
クローラーのパスをテスト
ファイル、クローラー、パスを変更すると再計算されます。
クローラーの判定
入力すると結果が表示されます。
よくある質問
robots.txtのルール、クローラーのアクセス、URLパスをブラウザでテストします。
よくある質問
robots.txtはどのルールを選びますか？
最も具体的なUser-agentグループを選び、その中で最長の一致パスを適用します。同じ長さならAllowが優先されます。
DisallowでGoogleからページを削除できますか？
いいえ。クロールを止めるだけで、インデックスを必ず防ぐわけではありません。
*と$は何を意味しますか？
*は任意の文字列、$はURL末尾を示します。
robots.txtはアップロードされますか？
いいえ。すべてブラウザ内で解析されます。