Чому просканована сторінка може не потрапити в індекс?

1. Чому Crawling сторінки не гарантує її Indexing?

Google розділяє обробку сайтів на три окремі етапи: сканування (Crawling), індексація (Indexing) та показ результатів (Serving). Crawling — це лише процес виявлення та завантаження тексту, зображень і коду сторінки ботом (Googlebot).

Після завантаження починається стадія індексації, на якій алгоритми аналізують зміст, метадані, визначають канонічність та оцінюють якісну цінність документа. Якщо сторінка є дублікатом, має директиву noindex, містить неоригінальний чи слабкий контент, виявляється Soft 404 або зазнає помилок під час рендерингу JavaScript, Google приймає рішення не зберігати її в базі даних. Google офіційно наголошує, що обхід URL не означає його автоматичне додавання до індексу.

2. Що означає статус Crawled – currently not indexed у Google Search Console?

Статус «Проскановано — наразі не проіндексовано» (Crawled – currently not indexed) означає, що Googlebot вже повністю знайшов, відвідав і зчитав вміст сторінки (зокрема відрендерив її, якщо вона залежить від JavaScript), але прийняв свідоме рішення не додавати її до індексу на даний момент.

У більшості випадків цей статус не є технічною помилкою сервера чи сайту. Він свідчить про те, що Google не побачив достатньої інформаційної цінності, унікальності чи високого пріоритету цієї сторінки порівняно з іншими матеріалами в мережі.

3. Як noindex може завадити потраплянню сторінки до індексу?

Правило noindex (яке реалізується через meta-тег <meta name="robots" content="noindex"> в коді HTML або HTTP-заголовок X-Robots-Tag: noindex) є суворою вказівкою для пошукових роботів не виводити документ у пошукових результатах.

Коли Googlebot сканує сторінку й бачить цю директиву, він вилучає її з результатів пошуку або повністю блокує її індексацію. Критично важлива умова: для того щоб Google зчитав директиву noindex, сторінка не повинна бути заблокована у файлі robots.txt. Якщо роботи заблоковані через robots.txt, Googlebot не зможе завантажити сторінку, не побачить тег noindex і потенційно може проіндексувати її за зовнішніми посиланнями.

4. Як canonical на інший URL впливає на рішення Google щодо індексації?

Елемент rel="canonical" вказує пошуковій системі, який саме URL із кількох схожих чи дубльованих версій є відданим (канонічним) для показу у видачі.

Якщо на сторінці A вказано канонічне посилання на сторінку B (або якщо сам Google на основі аналізу змісту вибере сторінку B як канонічну — Google-selected canonical), алгоритм об'єднає посилальні сигнали на користь сторінки B. При цьому сторінка A не потрапить до індексу, отримавши відповідний статус у Search Console (наприклад, Alternate page with proper canonical tag, Duplicate without user-selected canonical або Crawled – currently not indexed).

5. Чому дубльований або дуже схожий контент може не потрапити до індексу?

Google намагається не витрачати ресурси на збереження та показ однакової інформації. Під час обробки сторінок пошукова система групує схожі документи у кластери й обирає серед них один канонічний варіант.

Якщо нові сторінки є рерайтом існуючих матеріалів, описом товарів від виробника, який використовується на сотнях інших сайтів, або сторінками фільтрації чи пагінації з мінімальними відмінностями, Google вважає їх неоригінальними й відсіює.

6. Як слабкий, порожній або малокорисний контент впливає на Indexing?

Google орієнтується на створення якісного, корисного та орієнтованого на людей контенту (people-first content). Якщо сторінка містить лише кілька речень загального тексту (thin content), не дає власного аналізу, унікальних даних чи вичерпної відповіді на запит користувача, вона не отримує місця в базі.

При публікації великої кількості таких шаблонованих або слабких сторінок (наприклад, автоматичних генерацій під міста чи категорії) вони масово потрапляють у статус «Проскановано — наразі не проіндексовано».

7. Що таке Soft 404 і чому така сторінка може не індексуватися?

Soft 404 — це ситуація, коли сервер повертає успішний HTTP-код відповіді 200 OK, але сам вміст сторінки явно показує відвідувачеві повідомлення про відсутність контенту (наприклад, «Товар відсутній», «За запитом нічого не знайдено», порожня категорія або збій завантаження бази даних).

Оскільки показувати користувачеві «неіснуючі» сторінки під виглядом робочих є поганим досвідом, алгоритми Google автоматично розпізнають такі сторінки як Soft 404 та виключають їх із пошукового індексу.

8. Як JavaScript і проблеми з Rendering можуть призвести до того, що Google не побачить контент?

Googlebot обробляє JavaScript-сайти у дві фази: спочатку завантажує сирий HTML (crawl phase), а потім відправляє сторінку в чергу рендерингу (render phase), де headless-браузер виконує скрипти й будує фінальний DOM.

Якщо під час рендерингу виникає збій:

API-запит затримується понад таймаут (безпечний бюджет складає ~5 секунд);

Скрипт викликає незакриту помилку (uncaught exception), через яку виконання зупиняється;

Посилання реалізовано через кліки onClick замість стандартних тегів <a href="...">; — Googlebot бачить лише порожню сторінку або спінер завантаження, через що вважає сторінку порожньою й не індексує її.

9. Як внутрішня перелінковка та важливість URL впливають на індексацію?

Внутрішні посилання є основним механізмом discovery (виявлення нових адрес) та передачі сигналу важливості сторінки для самого сайту.

Якщо на сторінку не веде жодного тематичного внутрішнього посилання (ізольована/сиротинська сторінка) або вона захована глибоко в архіві, Google сприймає це як знак того, що ресурс не є важливим для власника сайту. Додавання 2–3 контекстних посилань із релевантних і вже проіндексованих сторінок суттєво підвищує шанси на потрапляння в індекс.

10. Покроковий чекліст для SEO-фахівця, якщо сторінка просканована, але не проіндексована

Для розв'язання проблеми рекомендується пройти системний алгоритм із 8 кроків:

Перевірити поточний стан у URL Inspection: Запустити "Test Live URL" у Search Console, оскільки загальний звіт «Pages» може відставати на кілька днів.

Оцінити доцільність індексації: Переконатися, що це робоча комерційна чи контентна сторінка, а не фід, пагінація, результат внутрішнього пошуку чи дубль з параметрами.

Перевірити відрендерений HTML (Rendered HTML): Впевнитися, що Googlebot бачить основний текст і контент, а не порожній екран чи спінер через JS-помилку.

Перевірити технічні директиви та статуси: Переконатися у відсутності тегу noindex, перевірити доступність у robots.txt та стабільність коду 200 OK.

Зіставити канонічні адреси: Порівняти "User-declared canonical" та "Google-selected canonical" в URL Inspection — вони повинні збігатися.

Оцінити унікальність та глибину контенту: Додати практичну цінність (унікальні дані, порівняння, відповіді на інтент), прибрати порожні вступи та усунути Soft 404.

Посилити внутрішню перелінковку: Поставити 2–3 логічні контекстні посилання з проіндексованих авторитетних статей сайту.

Протестувати фікс та запросити повторну індексацію: Для масових шаблонів застосувати правки на вибірці з 20–50 сторінок, порівняти з контрольною групою і після підтвердження натиснути "Validate Fix" або "Request Indexing".