Що таке noindex і як він працює в Google?

1. Що таке noindex простими словами?

Це команда «не показувати у пошуку». Сторінка з цією директивою залишається функціональною для відвідувачів сайту, але пошуковий робот після її зчитування виключає URL з бази даних індексу і не показує у відповідь на пошукові запити.

2. Як виглядає noindex у meta robots і де він розміщується в HTML?

У коді HTML-сторінки директива задається за допомогою метатегу robots або googlebot:

Для всіх пошукових роботів: <meta name="robots" content="noindex">.

Спеціально для Google: <meta name="googlebot" content="noindex">.

Цей тег розміщується у секції <head> HTML-документа.

3. Що таке X-Robots-Tag і як через нього можна задати noindex?

X-Robots-Tag — це заголовок HTTP-відповіді, який надсилається сервером під час запиту файлу.

Він виконує таку ж роль, як і meta robots, але використовується для не-HTML ресурсів (PDF-файлів, зображень, відео) або для масового закриття URL на рівні конфігурації вебсервера (Apache, Nginx).

Приклад заголовка у відповіді сервера: X-Robots-Tag: noindex.

4. Що робить Google, коли Googlebot знаходить директиву noindex?

Коли Googlebot сканує сторінку й виявляє тег або HTTP-заголовок noindex, Google повністю вилучає цей URL з пошукової видачі Google Search, незалежно від того, чи посилаються на нього інші сайти. Googlebot може продовжувати сканувати сторінку й переходити за посиланнями на ній (якщо немає вказівки nofollow), але сам документ у пошуку не зберігається.

5. Чим noindex відрізняється від robots.txt?

robots.txt керує скануванням (crawling) — він вказує роботам, чи можна заходити на URL та завантажувати його вміст.

noindex керує індексацією (indexing) — він визначає, чи має збережена сторінка показуватися у результатах пошуку.

Google офіційно не підтримує запис директиви noindex безпосередньо у файлі robots.txt.

6. Чому не варто блокувати URL у robots.txt, якщо потрібен noindex?

Щоб Googlebot прочитав директиву noindex, він обов'язково повинен просканувати та завантажити сторінку. Якщо закрити URL через Disallow у robots.txt, робот заблокується на вході й не побачить meta robots або X-Robots-Tag. У результаті сторінка може все одно потрапити до індексу Google (наприклад, за наявності зовнішніх чи внутрішніх посилань), але без опису вмісту.

7. Чим noindex відрізняється від nofollow?

noindex забороняє відображати сторінку у результатах пошуку.

nofollow просить робота не переходити за посиланнями, розміщеними на цій сторінці, і не передавати за ними посилальну вагу.

За потреби їх об'єднують: <meta name="robots" content="noindex, nofollow"> або використовують значення none (що еквівалентно noindex, nofollow).

8. Чим noindex відрізняється від canonical?

rel="canonical" підказує пошуковій системі, яку версію з групи схожих/дубльованих сторінок вважати основною, зберігаючи посилальні сигнали та залишаючи вміст проіндексованим під канонічним URL.

noindex повністю виключає URL із пошукової видачі.

canonical є рекомендацією (підказкою), тоді як noindex — суворою вказівкою. Одночасне встановлення noindex і canonical на інший URL є суперечливим сигналом і не рекомендується Google.

9. Для яких сторінок свідомо використовують noindex?

SEO-фахівці застосовують noindex для сторінок без самостійної пошукової цінності:

Службові розділи: кошик, авторизація, особистий кабінет, оформлення замовлення, сторінки подяки ("Thank you").

Результати внутрішнього пошуку по сайту.

Тимчасові, тестові сторінки або чернетки.

Технічні фільтри та сортування в інтернет-магазинах, що створюють тисячі дублів.

Окремі PDF-файли чи документація, яка не призначена для пошукового трафіку.

10. Як перевірити noindex і що робити, якщо сторінка залишається в індексі?

Як перевірити:

Оглянути вихідний кодовий вміст у секції <head> або перевірити HTTP-заголовки через інструменти розробника.

Скористатися інструментом Перевірка URL (URL Inspection) у Google Search Console, щоб побачити відрендерений HTML, який отримав Googlebot.

Відстежити статус у звіті про індексацію сторінок GSC — там з'явиться статус «Excluded by noindex tag» («Виключено тегом noindex»).

Що робити, якщо сторінка не виходить з індексу:

Перевірити robots.txt: Переконатися, що URL не заблокований через Disallow. Якщо заблокований — відкрити доступ, щоб Googlebot міг зайти й зчитати noindex.

Дати час на переобхід: Вилучення відбудеться лише після того, як Googlebot повторно завітає на сторінку.

Прискорити процес: Запросити перевірку через інструмент URL Inspection у GSC або залишити URL у файлі sitemap.xml з оновленою датою lastmod, щоб спонукати Googlebot швидше переобійти сторінку з новим тегом noindex. За потреби термінового приховування скористатися інструментом Removals у Search Console.