Що таке Googlebot?

1. Що таке Googlebot простими словами?

Googlebot — це загальна назва пошукових роботів Google (їх також називають краулерами, павуками або ботами), які в автоматичному режимі обходять сторінки вебсайтів в Інтернеті. Простими словами, це «очі» пошукової системи. Робот заходить на сайт, зчитує (завантажує) його вміст і передає отримані дані до системи Google для подальшої обробки та аналізу.

2. Яку роль Googlebot виконує в роботі Google Search?

Googlebot є першою і ключовою точкою входу будь-якого сайту до пошукової системи. Його головна роль полягає у зборі даних для формування пошукового індексу. Бот виконує такі завдання:

Здійснює безпосередній обхід (crawling) сторінок сайту.

Завантажує код HTML та супутні ресурси.

Передає зібрану інформацію серверам Google, де ухвалюється рішення про індексацію.

Сам по собі Googlebot не займається ранжуванням (сортуванням сайтів за позиціями), але без його візиту та збору даних поява сайту у видачі є технічно неможливою.

3. Як Googlebot знаходить нові та оновлені URL в інтернеті?

Процес виявлення нових адрес називається «виявленням URL» (URL discovery). Оскільки єдиного реєстру всіх сайтів не існує, Googlebot знаходить посилання кількома шляхами:

За посиланнями на відомих сторінках: під час сканування вже перевіреної сторінки робот зчитує розміщені на ній внутрішні та зовнішні лінки на інші ресурси та додає їх до черги на обхід.

Через карти сайту (Sitemaps): власники сайтів самі надсилають файли XML-sitemap зі списками пріоритетних сторінок.

Через історію попередніх візитів: робот регулярно повертається до раніше знайдених сторінок, щоб перевірити їх на предмет оновлень контенту.

Через зовнішні джерела: якщо користувач переходить за посиланням з вашого сайту на інший ресурс, адреса вашої сторінки може зафіксуватися в журналах джерел переходів (referrer logs), звідки її згодом зчитає Googlebot.

4. Що саме відбувається, коли Googlebot заходить на сторінку сайту?

Під час візиту на сторінку робот виконує послідовний алгоритм дій:

Надсилає HTTP-запит до сервера сайту й отримує відповідь (наприклад, код статусу 200 OK).

Зчитує код HTML та вилучає з нього всі нові посилання для подальшого обходу.

Завантажує супутні ресурси (файли стилів CSS та скрипти JavaScript), необхідні для рендерингу. При цьому для текстових файлів встановлено ліміт завантаження у перші 2 МБ, а для PDF-документів — до 64 МБ нестиснутих даних.

Рендерить сторінку за допомогою інтегрованої сучасної версії браузера Chrome (Chromium), виконуючи скрипти JavaScript, щоб побачити весь динамічний вміст сайту.

Оцінює технічні сигнали: коди статусів відповідей, швидкість відповіді сервера, наявність канонічних вказівок та інструкцій noindex.

Передає фінальний результат у систему обробки та індексації.

5. Чим Googlebot Smartphone відрізняється від Googlebot Desktop?

Це два окремі підвиди пошукового робота Google, які імітують різні пристрої:

Googlebot Smartphone — це мобільний робот, який симулює поведінку користувача з мобільним пристроєм.

Googlebot Desktop — це десктопний робот, який імітує відвідування сайту з персонального комп'ютера.

Вони відрізняються своїми HTTP-заголовками user-agent. Однак у файлі robots.txt неможливо задати окремі правила для кожного з них, оскільки обидва роботи підпорядковуються єдиній загальній директиві User-agent: Googlebot.

6. Чому сьогодні для більшості сайтів Google переважно використовує мобільну версію Googlebot?

Поведінка Googlebot змінилася через перехід пошуку на мобільне індексування (Mobile-First indexing). Оскільки Google оцінює та додає до бази даних насамперед мобільну версію контенту сайту, переважна більшість запитів на сканування (crawling requests) надходить саме від мобільного робота Googlebot Smartphone, і лише незначна частина — від десктопного варіанта.

7. Як файл robots.txt впливає на доступ Googlebot до сторінок і ресурсів сайту?

Файл robots.txt регулює процес сканування і є першим документом, який Googlebot завантажує перед обходом сайту.

Якщо у файлі міститься директива Disallow для конкретної URL-адреси чи розділу, Googlebot повністю пропускає цей шлях і не здійснює до нього HTTP-запит.

Якщо в robots.txt закрити доступ до важливих файлів стилів (CSS) або скриптів (JS), Googlebot не зможе завантажити їх. Це призведе до того, що під час рендерингу він побачить зламану або пусту сторінку, що негативно вплине на індексацію.

Важливе застереження: robots.txt контролює лише сканування (обхід), але не індексування. Заблокована у robots.txt адреса все одно може з'явитися в результатах пошуку (без опису та сніппету), якщо Google знайде посилання на неї на інших ресурсах.

8. Чи означає відвідування сторінки Googlebot, що вона обов’язково буде проіндексована?

Ні, не означає. Сканування та індексація — це абсолютно різні етапи. Googlebot може успішно відвідати сторінку та завантажити її код, але система відхилить її додавання до бази даних пошуку за таких обставин:

Наявність заборонних директив у коді (наприклад, метатегу <meta name="robots" content="noindex">).

Низька якість або відсутність унікальної цінності контенту (thin content).

Сторінка є копією (дублікатом) вже наявного в мережі контенту, і Google вибрав інший URL як канонічний.

Технічні збої та помилки під час рендерингу сторінки.

9. Як SEO-фахівець може перевірити, чи Googlebot сканує сайт і конкретні сторінки?

Існує два найточніші та найнадійніші способи перевірки:

Google Search Console (GSC):

Інструмент перевірки URL (URL Inspection): дозволяє ввести адресу сторінки та дізнатися точну дату й час її останнього сканування, яким роботом (Smartphone чи Desktop) вона була оброблена та чи виникли проблеми з доступністю.

Звіт про статистику сканування (Crawl Stats): у розділі налаштувань GSC показує графіки загальної кількості запитів до вашого сервера за останні 90 днів та детальний розподіл за типами файлів та роботів.

Аналіз логів сервера (Server logs):

Перегляд записів сервера дозволяє побачити реальні HTTP-запити від робота в режимі реального часу. Щоб уникнути фейкових ботів (які маскуються під Googlebot, spoofing), справжність робота перевіряють за допомогою зворотного DNS-запиту (reverse DNS lookup) або зіставленням IP-адреси з офіційними IP-діапазонами Google.

10. Що може заважати Googlebot нормально сканувати сайт?

Процес сканування може зламатися через низку технічних проблем:

Помилки доступності (Availability issues): серверні помилки 5xx, статус 429 (перевищення ліміту запитів), обриви з'єднання та тривалі таймаути змушують Googlebot миттєво скорочувати частоту обходу сайту.

Технічні блокування: випадкові заборони сканування важливих папок у файлі robots.txt або використання авторизаційних форм (логінів), які бот не може обійти.

Некоректні посилання: Googlebot вміє переходити лише за стандартними HTML-посиланнями <a> з атрибутом href. Якщо посилання на сайті реалізовані через фрагменти з символом # (наприклад, client-side routing без History API) чи динамічні події onclick, робот не зможе їх зчитати та виявити нові сторінки.

Проблеми з JavaScript: якщо вміст сторінки генерується за допомогою JS занадто повільно, або консоль видає критичні помилки виконання скриптів, Googlebot може просканувати пусту сторінку (app shell) без реального тексту.