Почніть зі статусу, а не з діагнозу
Звіт про індексування сторінки містить як справжні технічні проблеми, так і очікувані виключення. Правило robots.txt, директива noindex, вимога автентифікації або невдала відповідь можуть перешкоджати індексуванню; повторювані та канонічні статуси можуть працювати точно так, як задумано; і виявлений URL може просто ще не проскануватися.
Найбільш оманливий стан – «Скановано — наразі не проіндексовано». Це підтверджує, що Google отримав сторінку, але не додав її до покажчика. Google прямо стверджує, що сторінка може бути проіндексована або не проіндексована пізніше, і що немає необхідності повторно надсилати її лише через цей статус.
Статуси, які справді є помилками
Вони описують щось на вашому боці, що завадило збереженню. Google позначає джерело кожного як Вебсайт, коли ви можете виправити самі, і як Google, коли причина в них. Виправлення самої відповіді — це і є повне лікування.
| Статус | Що означає | Джерело |
|---|---|---|
| Помилка сервера (5xx) | Сервер повернув помилку рівня 500 | |
| Помилка переспрямування | Ланцюг перенаправлень зациклився або збився | Вебсайт |
| URL заблоковано у файлі robots.txt | robots.txt відмовив у дозволі на завантаження | Вебсайт |
| Сторінку позначено як «noindex» | Сторінка віддала директиву noindex | Вебсайт |
| М'яка помилка 404 | Повідомлення про відсутність із кодом 200 | Вебсайт |
| Заблоковано через неавторизований запит (401) | Сторінка вимагала облікових даних | Вебсайт |
| Не знайдено (404) | Адреса повернула 404 | Вебсайт |
| Заблоковано через заборонений доступ (403) | Сервер повернув 403 | Вебсайт |
| Заблоковано через іншу проблему 4xx | Якась інша відповідь 4xx | Вебсайт |
Два з них заслуговують на окрему увагу, бо надто часто є самозаподіяними. М'яка помилка 404 означає, що ви віддаєте ввічливу сторінку «тут нічого немає» зі статусом 200: система бачить успіх і бідний вміст замість відсутності, тож скажіть правду кодом 404 або 410. А 401 чи 403 на сторінках, задуманих як публічні, зазвичай означає, що правило зі середовища розробки або фаєрвол потрапили на продакшн.
Статуси, що схожі на помилки, але ними не є
Саме вони породжують найбільше змарнованої роботи. Кожен із них — це Google, що звітує про власне рішення, а не про ваду, яку ви внесли. Гнатися за ними означає витрачати увагу, потрібну справжнім проблемам.
| Статус | Що це насправді означає |
|---|---|
| Альтернативна сторінка з правильним канонічним тегом | Об'єднання працює саме так, як задумано |
| Дублікат без канонічної, вибраної користувачем | Ви не оголосили канонічну, тож Google обрав сам |
| Дублікат, Google вибрав іншу канонічну сторінку | Ви оголосили одну, Google не погодився |
| Сторінка з переспрямуванням | Неканонічна адреса перенаправляє, як і задумано |
| Виявлено — наразі не проіндексовано | Відома, але ще не завантажена |
| Просканована, але поки не проіндексована | Завантажена, оцінена й відкладена |
Два статуси дубліката варто розрізняти. «Без канонічної, вибраної користувачем» означає, що ви ніколи її не оголошували і Google обрав за вас — здебільшого нешкідливо, але ви віддали рішення, яке могли ухвалити самі. «Google вибрав іншу канонічну» означає, що ви оголосили, а вас перекрили: сигнал, що названа вами сторінка — не та, яку система вважає основною.
Чесно читати «просканована, не проіндексована»
Цей статус означає, що Google просканував сторінку, але не проіндексував її в той час. Він не визначає одну універсальну причину, а перевірочний тест URL не може з упевненістю передбачити успіх індексації. Немає сенсу вигадувати технічну помилку, про яку не йдеться у звіті.
На шаблонних сайтах варто перевірити близькі дублікати, canonical-сигнали, внутрішні посилання та те, чи додає кожна сторінка інформацію, якої немає на схожих сторінках. Це діагностичні перевірки, а не твердження, що кожен URL із таким статусом не пройшов певний поріг якості.
- Відкрийте перевірку URL і підтвердьте: сторінка віддає 200, є самоканонічною й рендерить основний вміст.
- Порівняйте її з трьома найближчими сусідніми сторінками. Якщо підставлені значення можна поміняти й дістати рівноцінну сторінку, система теж це бачить.
- Перевірте, чи щось посилається на неї всередині сайту описовим текстом, чи вона існує лише в карті сайту.
- Запитайте, на що ця сторінка відповідає, чого не дає жодна сусідня. Якщо відповіді немає — це і є висновок.
- Змініть сторінку так, щоб відповідь з'явилася, і лише тоді просіть про індексацію — саме в такому порядку.
«Виявлено, не проіндексовано» — інший сигнал
Він означає, що адреса відома, але не завантажена. На малому сайті це зазвичай короткочасний стан. У масштабі це найчіткіший названий Google симптом реального обмеження бюджету сканування: забагато адрес, замало попиту, і черга до них не доходить.
Якщо велика частка ваших адрес стоїть тут, продуктивна робота — зменшити кількість малоцінних адрес, які ви пропонуєте системі на розгляд: об'єднати дублі, віддавати справжні 404 для того, чого вже немає, скоротити ланцюги перенаправлень — а не подавати сторінки поодинці.
Працювати зі звітом, а не із симптомами
Звіт упорядкований за причинами, що спокушає братися згори за обсягом. Опирайтеся. Тисяча адрес під «Сторінка з переспрямуванням» — це зазвичай робоча карта перенаправлень, тоді як сорок під «М'яка помилка 404» — справжня вада, що зачіпає справжні сторінки.
- Спершу виправте все з таблиці помилок — це однозначно й механічно.
- Відкладіть інформаційні статуси, якщо тільки обсяг не суперечить вашому задуму, як-от канонічне об'єднання, якого ви ніколи не проєктували.
- Сприймайте «просканована, не проіндексована» як редакційний борг, а не технічний.
- Повторно перевіряйте лише тоді, коли відповідь або вміст справді змінилися.