브라우저에서 쓰는 무료 도구
Robots.txt 테스터
robots.txt 규칙, 크롤러 접근, URL 경로를 브라우저에서 테스트하세요.
브라우저에서 로컬로 처리되며 업로드되지 않습니다.
크롤러 경로 테스트
파일, 크롤러 또는 경로를 바꾸면 결과가 다시 계산됩니다.
크롤러 결정
입력하면 결과가 표시됩니다.
자주 묻는 질문
robots.txt 규칙, 크롤러 접근, URL 경로를 브라우저에서 테스트하세요.
자주 묻는 질문
robots.txt는 어떤 규칙을 선택하나요?
가장 구체적인 user-agent 그룹을 선택한 뒤 가장 긴 일치 경로를 적용합니다. 길이가 같으면 Allow가 우선입니다.
Disallow가 Google에서 페이지를 삭제하나요?
아니요. 크롤링을 막을 뿐이며 색인까지 막지는 않습니다. 검색 결과에서 제외하려면 noindex를 사용하세요.
*와 $는 무엇을 의미하나요?
별표는 임의의 문자열과 일치하고 달러 기호는 URL 끝에 패턴을 고정합니다.
robots.txt가 업로드되나요?
아니요. 모든 분석은 브라우저에서 실행됩니다.