Công cụ miễn phí trên trình duyệt
Công cụ kiểm tra robots.txt
Kiểm tra quy tắc robots.txt, quyền truy cập crawler và đường dẫn URL trong trình duyệt.
Chạy cục bộ. Không có dữ liệu nào được tải lên.
Kiểm tra đường dẫn crawler
Thay đổi tệp, crawler hoặc đường dẫn để tính lại kết quả.
Quyết định của crawler
Kết quả xuất hiện khi bạn nhập.
Câu hỏi thường gặp
Kiểm tra quy tắc robots.txt, quyền truy cập crawler và đường dẫn URL trong trình duyệt.
Câu hỏi thường gặp
Robots.txt chọn quy tắc như thế nào?
Nhóm user-agent cụ thể nhất được chọn, sau đó đường dẫn khớp dài nhất sẽ thắng. Allow thắng khi độ dài bằng nhau.
Disallow có xóa trang khỏi Google không?
Không. Disallow chặn crawl, không nhất thiết chặn lập chỉ mục. Hãy dùng noindex nếu trang không được xuất hiện trong kết quả.
* và $ có nghĩa gì?
Dấu sao khớp với bất kỳ chuỗi ký tự nào. Dấu đô la neo mẫu vào cuối URL.
Robots.txt của tôi có được tải lên không?
Không. Toàn bộ phân tích diễn ra trong trình duyệt.