Що таке X-Robots-Tag?

1. Що таке X-Robots-Tag і для чого він потрібен?

X-Robots-Tag — це HTTP-заголовок відповіді сервера, який передає пошуковим роботам (Googlebot, Bingbot тощо) директиви щодо індексації, сканування та відображення конкретного ресурсу у результатах пошуку.

Він потрібен для гнучкого та точного керування індексацією будь-яких типів файлів на рівні сервера — не лише стандартних HTML-сторінок, а й ресурсів без HTML-розмітки (PDF-документів, зображень, відео, архівів), а також для масового налаштування правил для цілих розділів чи типів файлів.

2. Що таке HTTP-заголовки та де знаходиться X-Robots-Tag?

HTTP-заголовки (HTTP Headers) — це службові метадані, якими вебсервер та браузер або пошуковий бот обмінюються під час підключення та обробки мережевого запиту.

Заголовок X-Robots-Tag знаходиться у заголовках відповіді сервера (HTTP Response Headers). Він передається серверним службовим пакетом разом із кодом стану (наприклад, HTTP/1.1 200 OK) ще до того, як завантажиться основний вміст ресурсу.

3. Чим X-Robots-Tag відрізняється від meta robots?

Формат та місце розташування: Метатег meta robots вбудовується безпосередньо у верстку HTML-документа всередині блоку <head> (наприклад, <meta name="robots" content="noindex">). X-Robots-Tag передається у HTTP-заголовках на рівні сервера.

Область застосування: Meta robots працює виключно з HTML-сторінками. X-Robots-Tag є універсальним і застосовується як до HTML, так і до будь-яких не-HTML файлів (PDF, PNG, JPG, ZIP, JS, CSS тощо).

Групове керування: X-Robots-Tag дозволяє масово задавати правила для типів файлів або папок через конфігураційні файли сервера (Apache .htaccess або Nginx .conf) за допомогою регулярних виразів (Regex).

4. Що означає X-Robots-Tag: noindex?

Директива noindex у заголовок X-Robots-Tag дає чітку вказівку пошуковим роботам не додавати цей ресурс чи сторінку до пошукового індексу і не показувати його у видачі (SERP).

При цьому сам файл чи сторінка залишаються повністю доступними для користувачів за прямим посиланням, для завантаження або перегляду на сайті.

5. Які основні директиви підтримує X-Robots-Tag?

X-Robots-Tag підтримує ті самі директиви, що й звичайний HTML-метатег robots:

noindex — забороняє індексувати вміст та показувати його у видачі.

nofollow — забороняє пошуковому боту переходити за посиланнями, розміщеними у цьому документі.

none — еквівалент одночасного використання noindex, nofollow.

nosnippet — забороняє показувати текстові чи відео-сніпети у видачі (зокрема використання матеріалу в AI Overviews).

noimageindex — забороняє індексувати зображення на цій сторінці чи у документі.

indexifembedded — дозволяє індексувати вміст при вбудовуванні у сторонні сторінки через iframe, навіть якщо на самому документі стоїть noindex.

max-snippet:[number], max-image-preview:[setting], max-video-preview:[number] — задають чіткі межі для довжини сніпета та розміру прев'ю [84, 85, 170–172, 211].

unavailable_after:[date/time] — видаляє ресурс із пошукової видачі після настання вказаної дати й часу.

notranslate — забороняє Google пропонувати автоматичний переклад сторінки у видачі.

6. Навіщо його використовують для PDF та зображень?

Оскільки PDF-документи, фотографії, прайс-листи чи ZIP-архіви не мають HTML-коду та розділу <head>, до них фізично неможливо додати звичайний HTML-метатег meta robots.

Без застосування X-Robots-Tag такі файли можуть масово потрапляти в індекс Google, створювати дубльований контент, витрачати краулінговий бюджет або ранжуватися вище за основні комерційні сторінки сайту [179–181]. Використання X-Robots-Tag: noindex дозволяє захистити структуру сайту й залишити технічні чи службові файли поза пошуковою видачею.

7. Чим X-Robots-Tag відрізняється від robots.txt?

Призначення: Файл robots.txt керує скануванням (crawling) — вказує роботам, які розділи сайту їм дозволено чи заборонено відвідувати. X-Robots-Tag керує індексацією (indexing) та відображенням — вказує, чи можна додавати вже отриманий ресурс до бази пошуку.

Гарантія виключення з видачі: Якщо URL закрити у robots.txt, Googlebot не скануватиме його, але сторінка все одно може потрапити до індексу, якщо на неї ведуть зовнішні чи внутрішні посилання. X-Robots-Tag із директивою noindex повністю гарантує вилучення ресурсу з пошукової видачі.

8. Чому Googlebot повинен мати доступ до URL, щоб побачити X-Robots-Tag?

Пошукові боти зчитують HTTP-заголовки безпосередньо під час з'єднання з сервером і завантаження ресурсу.

Якщо сторінка чи PDF-файл заблоковані у файлі robots.txt (через директиву Disallow), Googlebot взагалі не відвідує цей URL і не виконує HTTP-запит. Відповідно, бот фізично не зможе прочитати HTTP-заголовок X-Robots-Tag: noindex, і ресурс може продовжувати відображатися у пошуку.

9. Як перевірити X-Robots-Tag на реальному сайті?

Інструменти розробника у браузері (Chrome DevTools): Відкрийте вкладку Network (Мережа), оновіть сторінку чи завантажте файл, виберіть потрібний запит і перевірте блок Headers -> Response Headers на наявність рядка X-Robots-Tag.

Консольна утиліта curl: Виконайте команду в терміналі:

curl --head --location "[suspicious link removed]"

Це поверне всі HTTP-заголовки відповіді сервера.

Google Search Console: Скористайтеся інструментом Перевірка URL (URL Inspection). У режимі Test Live URL -> View Crawled Page -> More Info можна переглянути повні HTTP-заголовки, які отримав Googlebot.

Спеціалізовані SEO-краулери: Програми для автоматичного аудиту (наприклад, SE Ranking Website Audit чи Screaming Frog) автоматично виявляють заголовки X-Robots-Tag на всьому сайті.

10. Як неправильний X-Robots-Tag може вплинути на індексацію сторінок?

Випадкова деіндексація важливих розділів (Високий ризик): Помилка в налаштуваннях конфігурації сервера (наприклад, некоректне регулярне вираження в Nginx або .htaccess) може застосувати X-Robots-Tag: noindex до всього сайту чи ключових HTML-сторінок, що призведе до швидкого випадання з пошуку та втрати трафіку.

Конфлікт директив: Якщо на сторінці або у заголовках задано суперечливі вказівки (наприклад, index і noindex), Google завжди обирає найбільш суворе обмеження (noindex).

Втрата посилальної ваги: На відміну від канонічних посилань (rel="canonical"), директива noindex у X-Robots-Tag не передає посилальний авторитет (link equity) іншим сторінкам.