Чим блокування crawling через robots.txt відрізняється від noindex?

1. Що означає блокування Crawling через robots.txt?

Блокування сканування (crawling) через файл robots.txt (за допомогою директиви Disallow) означає, що ви забороняєте пошуковим роботам (наприклад, Googlebot) запитувати та завантажувати (fetch) конкретний URL або розділ сайту з вашого сервера. Це інструмент для збереження ресурсів сервера та раціонального використання краулінгового бюджету (crawl budget).

2. Що означає заборона Indexing через noindex?

Заборона індексації (indexing) через директиву noindex означає, що ви явно наказуєте пошуковим системам не додавати сторінку чи ресурс до пошукового індексу та виключити його з результатів пошуку (SERP), навіть якщо інші сайти посилаються на нього.

3. У чому головна різниця між Disallow і noindex?

Disallow у robots.txt відповідає на питання: «Чи дозволено роботу завантажити цю сторінку з сервера?».

noindex відповідає на питання: «Чи дозволено виводити цю сторінку у пошуковій видачі?».

Аналогія: robots.txt — це знак на паркані «Не заходити на територію», а noindex — це вказівка всередині будинку «Не додавати мене до телефонного довідника». Disallow керує доступом ботів, але самостійно не гарантує вилучення сторінки з індексу.

4. Чи може Google показувати в SERP URL, заблокований через robots.txt?

Так, може. Якщо Google дізнається про існування заблокованого URL через зовнішні або внутрішні посилання, він додає цю адресу до індексу без обходу її вмісту. У пошуковій видачі така сторінка відображатиметься у вигляді «голого» URL без текстового опису або сніпета (з позначкою «No information is available for this page»).

5. Чому Googlebot повинен просканувати сторінку, щоб побачити noindex?

Директива noindex розміщується безпосередньо у коді HTML (<meta name="robots" content="noindex">) або у серверних HTTP-заголовках (X-Robots-Tag: noindex). Щоб виявити та прочитати цей тег чи заголовок, Googlebot мусить фізично підключитися до сервера, завантажити та просканувати вміст сторінки.

6. Що станеться, якщо одночасно застосувати Disallow і noindex?

Це найпоширеніша помилка в технічному SEO. Якщо ви поставите noindex на сторінці і одночасно закриєте її через Disallow у robots.txt, робот слухняно зупиниться на рівні robots.txt і не зможе завантажити сторінку, щоб прочитати ваш noindex. В результаті директива noindex повністю нейтралізується, і сторінка може назавжди залишитися в індексі Google.

7. Чим meta robots noindex відрізняється від X-Robots-Tag?

meta robots noindex: Додається у HTML-код всередину блоку <head> (<meta name="robots" content="noindex">) і застосовується виключно для стандартних HTML-сторінок.

X-Robots-Tag: noindex: Передається як HTTP-заголовок відповіді сервера. Він необхідний для не-HTML файлів (PDF-документів, зображень, відео, архівів), де немає HTML-коду, а також зручний для масового закриття розділів через конфігурацію сервера (.htaccess або Nginx).

8. Коли правильно використовувати robots.txt, а коли noindex?

Застосовуйте robots.txt (Disallow), коли потрібно заощадити краулінговий бюджет і закрити від постійного сканування технічні ділянки з нескінченними комбінаціями URL: результати внутрішнього пошуку, складні фільтри каталогу, кошик замовлень чи важкі файли експорту.

Застосовуйте noindex, коли потрібно гарантовано виключити конкретні сторінки з пошукової видачі: дублікати, підтверджувальні сторінки ("дякуємо за замовлення"), службові або промо-сторінки, які повинні залишатися відкритими для користувачів.

9. Як перевірити обидва обмеження через Google Search Console?

Скористайтеся інструментом «Перевірка URL» (URL Inspection Tool).

У розгорнутих деталях перевірки проаналізуйте два окремі поля:

Crawl allowed? (Сканування дозволено?): показує статус за правилами robots.txt.

Indexing allowed? (Індексація дозволена?): показує наявність або відсутність директиви noindex.

Перевіряйте звіт Page Indexing (Індексація сторінок):

Статус "Excluded by noindex tag" підтверджує, що noindex працює правильно.

Застереження "Indexed, though blocked by robots.txt" показує, що заблокована у robots.txt сторінка все одно потрапила до індексу.

10. Як виправити ситуацію при помилковому заблокуванні чи виключенні?

Якщо сторінка не деіндексується через конфлікт:

Видаліть правило Disallow з robots.txt, щоб зробити сторінку доступною для обходу.

Переконайтеся, що на самій сторінці встановлено тег або заголовок noindex.

Зачекайте, поки Googlebot повторно завівітає на сторінку й зчитає noindex (або надішліть запит на сканування через інструмент Перевірка URL).

Після того, як сторінка випаде з індексу, за потреби можна знову повернути блокування в robots.txt.

Якщо важлива сторінка помилково випала з індексу:

Видаліть директиву noindex із HTML-коду або HTTP-заголовків.

Перевірте robots.txt і переконайтеся, що URL відкрито для сканування.

Скористайтеся інструментом Перевірка URL у GSC та натисніть «Запросити індексацію» (Request Indexing).