Чому «Google знайшов URL» не означає «Google його проіндексував»?

1. Що означає, що Google знайшов URL?

Стадія Discovery (Виявлення) означає, що Google дізнався про існування адреси (текстового рядка URL) і додав її до своєї черги на майбутній обхід, яка називається Crawl Frontier або Scheduler. При цьому робот Googlebot ще не відвідував саму сторінку, не надсилав HTTP-запит до сервера та не завантажував її вміст, а лише зафіксував факт існування цієї адреси в системі.

2. Якими способами Google може дізнатися про новий URL?

Google виявляє нові адреси через кілька основних векторів:

Витягування посилань (Link Extraction): обходячи відомі сторінки (наприклад, категорії чи хаби), Googlebot сканує HTML-код, знаходить нові посилання <a href="..."> та додає їх у Crawl Frontier.

Файли XML Sitemap: вебмайстри явно передають перелік адрес у файлах sitemap або через посилання у файлі robots.txt.

Механізми Pings та APIs: безпосереднє сповіщення через Indexing API (для вакансій чи трансляцій) або HTTP-пінги.

Зовнішні посилання (Backlinks): переходи та згадки на інших проіндексованих зовнішніх ресурсах.

3. Чим URL discovery відрізняється від Crawling?

Discovery (Виявлення): це легка дія розпізнавання та запису текстового рядка URL до бази даних scheduler'а. Вона не вимагає високих обчислювальних ресурсів чи надсилання запиту на ваш сервер.

Crawling (Сканування): це безпосереднє виконання HTTP-запиту (зазвичай GET) програмою Googlebot, завантаження даних (HTML, JS, CSS) із вашого сервера та витрачання системного бюджету обходу (Crawl Budget) і ресурсів сервера.

Простими словами: Discovery — це внесення адреси до списку завдань, а Crawling — це безпосередній візит робота на сторінку.

4. Чому знайдений URL може довго залишатися непросканованим?

Причини затримки між виявленням та скануванням пов'язані з обмеженнями Crawl Budget:

Лимит ємності сервера (Crawl Capacity Limit): якщо ваш сервер працює повільно, видає помилки (5xx) або має високий час відповіді (TTFB), Googlebot свідомо уповільнює обхід, щоб не перевантажити сайт.

Низький попит на обхід (Crawl Demand) та якість: Google пріоритезує ресурси. Якщо сторінка глибоко закладена в архітектурі (наприклад, далі 4 кліків від головної), має слабкі внутрішні/зовнішні посилання або сайт в цілому сприймається як малоцінний чи дубльований, scheduler ставить цей URL на початок черги з найнижчим пріоритетом.

Черга рендерингу (Rendering Queue): якщо внутрішні посилання згенеровані через Client-Side Rendering (JavaScript), адреси потрапляють у чергу рендерингу, що додає затримку від кількох днів до тижнів.

5. Чому навіть після Crawling сторінка може не потрапити до індексу?

Сканування — це лише завантаження вмісту. Сторінка відхиляється від індексації під час фази аналізу та класифікації (Indexing) з наступних причин:

Товарний / неоригінальний контент (Commodity Content): текст є рерайтом, повторює вже наявну в мережі інформацію та не містить власного досвіду чи унікальної цінності.

Дублікати та канонікалізація: Google об'єднав схожі сторінки у кластер і обрав канонічною іншу адресу.

Заборона індексації або Soft 404: наявність тегу noindex, HTTP-заголовка X-Robots-Tag чи виявлення порожньої/помилкової сторінки (Soft 404).

Загальні проблеми якості сайту (Sitewide Quality): висока частка некорисного контенту на сайті погіршує загальний сигнал якості, змушуючи системи Google відмовлятися від індексації навіть окремих робочих сторінок.

6. Що означає статус Discovered – currently not indexed?

Цей статус у Google Search Console означає, що Google знає про існування URL (виявлення відбулося через sitemap чи посилання), але ще НЕ сканував його і не робив повноцінного завантаження з сервера. Робот зафіксував адресу, але відклав візит через обмеження ємності сервера або низький пріоритет (Crawl Demand).

7. Чим він відрізняється від Crawled – currently not indexed?

Discovered – currently not indexed: Google не відвідував сторінку (не проводив HTTP-запит/завантаження); проблема лежить на рівні пріоритезації обходу, швидкості сервера чи архітектури посилань.

Crawled – currently not indexed: Googlebot уже завітав на сторінку, завантажив і прочитав її вміст, але свідомо вирішив не додавати її до індексу. Основна причина тут полягає в недостатній якості контенту, товарності інформації (commodity content), відсутності унікальності або дублюванні.

8. Як canonical, noindex, дублікати та слабкий контент впливають на індексацію?

Canonical: вказує Google, яку сторінку з групи схожих обрати головною. Неканонічні версії об'єднуються з головною і виключаються з індексу зі статусом на кшталт "Alternate page with proper canonical tag".

Noindex: прямо забороняє додавати сторінку до бази даних. (Примітка: для обробки noindex Googlebot повинен просканувати сторінку; якщо заблокувати її в robots.txt, робот не побачит директиву noindex і може залишити сторінку в індексі за зовнішніми посиланнями).

Дублікати та слабкий контент (Thin Content): знижують оцінку цінності сторінки, через що вона відхиляється на етапі індексації. Масове створення неоригінальних чи шаблонованих сторінок створює ризик "Scaled content abuse" та генерує негативний загальносайтовий сигнал (sitewide signal), який погіршує індексацію навіть якісних сторінок.

9. Чи гарантує XML Sitemap або внутрішнє посилання, що знайдений URL буде проіндексований?

Ні, не гарантує. XML Sitemap є лише підказкою (hint) для системи виявлення (Discovery), а не директивою для обов'язкової індексації. Дослідження показують, що суттєва частка адрес із sitemap, які не мають підтримки у вигляді внутрішніх посилань (сирі «сироти»), взагалі не скануються Googlebot. Аналогічно, навіть якщо сторінка знайдена через внутрішнє посилання та просканована, вона повинна пройти поріг якості (Quality Threshold), щоб потрапити до індексу.

10. Як SEO-фахівцю визначити, на якому етапі виникла проблема: Discovery, Crawling чи Indexing?

Для діагностики вузьких місць у воронці (Crawl-to-Index Pipeline) виконується покроковий аудит:

Перевірка Discovery: якщо URL взагалі відсутній у Search Console, проблему шукають на етапі виявлення (відсутність у sitemap, відсутність у HTML-коді через CSR, відсутність внутрішніх посилань).

Перевірка Crawling: перевіряють логи сервера (Server Logs) та звіт GSC Crawl Stats. Якщо за адресою показується статус "Discovered – currently not indexed", а в логах відсутні HTTP-запити від Googlebot (або сервер віддає помилки 5xx / повільний TTFB), проблема полягає в ємності сервера або низькому пріоритеті обходу.

Перевірка Indexing: за допомогою інструменту URL Inspection тестують live-версію. Якщо HTTP-запит успішний (200 OK), але сторінка має статус "Crawled – currently not indexed" або проблеми з canonical/soft 404, вузьке місце лежить на етапі якості контенту, рендерингу або унікальності.