Як шукати причину, через яку потрібна сторінка не індексується?

1. Як перевірити, чи сторінка проіндексована Google?

Оператор пошуку site:: Пошуковий запит у форматі site:example.com/storinka дає первинну орієнтовну уяву, але він не є остаточним інструментом діагностики.

Інструмент «Перевірка URL» (URL Inspection Tool) у Google Search Console: Це єдине офіційне та найточніше джерело. Ввівши повну адресу в полі пошуку GSC, ви отримаєте офіційні відомості про те, чи перебуває сторінка в індексі Google, коли її востаннє сканували та яку канонічну адресу вибрала пошукова система.

2. З чего SEO-фахівець повинен починати діагностику індексації?

Перевірка у GSC, а не повторна відправка сайту: Перевірку починають із конкретної адреси у звіті «Індексація → Сторінки» (Indexing → Pages) в Google Search Console.

Ключове запитання — «Чи повинна ця сторінка взагалі індексуватися?»: Багато виключених із пошуку URL (старі редиректи, службові параметри, версії для друку, сторінки з кодом 404 або свідомо закриті розділи) перебувають у списку виключень цілком обґрунтовано.

Порівняння станів: Зіставте дані про відому Google версію з результатом поточного тесту сторінки (Test Live URL), щоб відокремити миттєву доступність від статусу індексації.

3. Що означає статус Discovered – currently not indexed?

Статус «Виявлено — наразі не проіндексовано» (Discovered – currently not indexed) означає, що Google знайшов URL-адресу (наприклад, через карту сайту sitemap.xml або внутрішні посилання), але ще не просканував (не завантажив) її вміст.

Причини: Недостатній краулінговий бюджет (crawl capacity), повільний час відповіді сервера, занадто велика кількість неважливих технічних сторінок на сайті або слабка внутрішня перелінковка.

4. Чому виникає Crawled – currently not indexed?

Статус «Проскановано — наразі не проіндексовано» (Crawled – currently not indexed) означає, що робот Googlebot успішно завантажив і переглянув сторінку, але прийняв свідоме рішення не додавати її до пошукового індексу.

Причини: У переважній більшості випадків це пов'язано з якістю та дублюванням контенту, а не з технічними помилками. Google розцінює такий вміст як «тонкий» (thin content), неоригінальний або шаблонний (commodity content), що рерайтить вже наявну в мережі інформацію без додавання унікальної цінності чи особистого досвіду.

5. Як robots.txt, noindex і X-Robots-Tag можуть блокувати індексацію?

robots.txt: Керує скануванням (директиви Disallow). Він забороняє боту завантажувати сторінку, але сама по собі заборона в robots.txt не гарантує виключення з індексу — якщо на сторінку ведуть зовнішні посилання, Google може додати її в індекс без опису.

HTML-тег Meta Robots (noindex): Розміщується всередині <head> (<meta name="robots" content="noindex">) і явно забороняє індексувати сторінку.

HTTP-заголовок X-Robots-Tag: Передається у заголовках відповіді сервера (X-Robots-Tag: noindex) і дозволяє забороняти індексацію не лише HTML-сторінок, а й не-HTML файлів (PDF, зображень).

⚠️ Важливо: Щоб Googlebot зміг прочитати директиву noindex (у метатегу чи X-Robots-Tag), сторінка обов'язково має бути відкритою для сканування у robots.txt.

6. Як неправильний canonical заважає індексації потрібного URL?

Якщо на сторінці прописано тег rel="canonical", що вказує на іншу адресу (або якщо Google самостійно призначив інший канонічний URL за наявності суперечливих сигналів), алгоритми сприйматимуть досліджувану сторінку як дублікат.

У такому разі потрібний URL виключається з індексу й отримує статус "Alternate page with proper canonical tag" або "Duplicate, Google chose different canonical than user".

7. Як HTTP-помилки, Soft 404 та редиректи впливають на індексацію?

HTTP-помилки (4xx, 5xx): Коди 404/410 сигналізують про видалення сторінки; коди 401/403 блокують доступ через авторизацію або фаєрвол; серверні помилки 5xx вказують на збої сервера та перешкоджають обходу.

Soft 404: Виникає, коли сервер віддає успішний статус 200 OK, але сама сторінка відрендерена як порожня, містить текст «не знайдено» або майже не має корисного вмісту. Google вважає її помилковою і видаляє з індексу.

Редиректи (3xx): Сторінка з редиректом отримує статус "Page with redirect" і не індексується, адже індексуватися має лише кінцева цільова адреса. Ланцюжки та петлі редиректів призводять до помилок сканування.

8. Чому слабкий контент, дублікати й недостатня перелінковка блокують індексацію?

Слабкий контент: Google прагне індексувати лише той вміст, який дає людям унікальну користь. Повторення загальновідомих фактів або згенерований без експертизи текст вважається низькоякісним і не потрапляє до індексу.

Дублікати: При виявленні кількох схожих сторінок Google об'єднує їх у кластер та залишає в індексі лише один канонічний URL, відсіюючи решту.

Слабка перелінковка: Якщо важлива сторінка знаходиться глибоко у структурі або доступна лише з архівного списку, Google бачить у цьому сигнал її низької важливості для самого сайту.

9. Як через Google Search Console перевірити Crawling, Rendering та Indexing?

Crawling (Сканування): Скористайтеся Перевіркою URL, щоб побачити статус останнього обходу (дату, використаного бота й код відповіді сервера), або перегляньте звіт «Статистика сканування» в Налаштуваннях GSC.

Rendering (Рендеринг): У Перевірці URL натисніть «Тестувати опубліковану URL-адресу» (Test Live URL) ➔ «Переглянути випробувану сторінку» (View Tested Page). Оцініть вкладки зі скріншотом, відрендереним кодом HTML та списком збоїв (More Info), щоб переконатися, що JavaScript-контент не заблокований і бачиться роботом.

Indexing (Індексація): Перегляньте фінальний статус у звіті «Індексація → Сторінки», порівнявши поля User-declared canonical та Google-selected canonical.

10. Як правильно виправити проблему й переконатися, що Google повторно перевірив сторінку?

Алгоритм дій:

Згрупуйте URL за шаблонами: Експортуйте список із GSC та відфільтруйте сторінки за папками, щоб виявити системну помилку у шаблоні чи налаштуваннях CMS.

Усуньте першопричину: Додайте унікальну цінність, тексти та приклади для «тонких» сторінок, об'єднайте дублікати через 301-редирект або виправте заблоковані скрипти/теги.

Посильте внутрішні посилання: Поставте прямі контекстні посилання на виправлену сторінку з 2–5 вже проіндексованих і авторитетних розділів сайту та оновіть sitemap.xml.

Перевірка виправлення:

Для поодинокої важливої сторінки: протестуйте її через Test Live URL, після чого один раз натисніть «Запросити індексацію» (Request indexing).

Для масових правок у групі URL: натисніть кнопку «Перевірити виправлення» (Validate fix) у відповідному звіті Search Console. Перевірка та оновлення статусів у панелі зазвичай триває від кількох днів до двох тижнів.