Які існують типи Googlebot і навіщо потрібен Googlebot Smartphone?

Основні типи Googlebot для сканування вебсторінок

Google використовує два основні типи веб-краулерів для пошуку та збору інформації в Google Search:

Googlebot Smartphone (мобільний робот): мобільний crawler, який симулює користувача на мобільному пристрої.

Googlebot Desktop (десктопний робот): десктопний crawler, який імітує відвідування сайту з персонального комп'ютера.

Googlebot Smartphone: що це та його завдання

Googlebot Smartphone — це пріоритетний пошуковий робот Google, який імітує роботу мобільного браузера (використовуючи user-agent Chrome на Android). Його головне завдання — сканувати, завантажувати та аналізувати мобільні версії сторінок вебсайтів. Оскільки Google використовує мобільне індексування, саме цей бот виконує переважну більшість запитів на сканування, виступаючи основним джерелом збору даних для пошукової системи.

Googlebot Desktop: що це та його відмінність

Googlebot Desktop — це десктопний пошуковий робот, що імітує браузер на ПК. Він відрізняється від мобільної версії своїм HTTP-заголовком user-agent. Сьогодні він виконує другорядну роль і активується лише для специфічних десктопних версій контенту або окремих випадків, тоді як більшість запитів на сканування виконує саме мобільний бот. Обидва роботи підпорядковуються одному токену Googlebot у robots.txt, тому їх не можна заблокувати окремо.

Чому Google перейшов на Googlebot Smartphone?

Перехід відбувся через глобальну зміну поведінки користувачів: понад 60% світового інтернет-трафіку генерується з мобільних пристроїв. Щоб надавати людям найбільш зручні та адаптовані результати, Google перебудував свої алгоритми, зробивши мобільний досвід першочерговим.

Що таке Mobile-First Indexing?

Mobile-First Indexing (мобільне індексування) — це підхід, за якого Google використовує мобільну версію вмісту сайту для його індексації та ранжування у пошуковій видачі. Це означає, що оцінка якості контенту, метаданих, швидкості (Core Web Vitals) та посилань відбувається саме на основі того, що бачить Googlebot Smartphone під час сканування мобільного макета.

Яка версія контенту індексується у разі відмінностей?

Якщо мобільна та десктопна версії сайту відрізняються, Google для індексації та оцінки ранжування використовує виключно мобільну версію. "Пейлоад" (дані, що зберігаються в індексі) завантажується з мобільного сканування, навіть якщо десктопний URL залишається канонічним ідентифікатором.

Що станеться, якщо на мобільній версії відсутній важливий вміст?

Відсутність тексту та посилань: Якщо мобільна версія містить менше тексту або в ній вирізано внутрішні посилання, які є на десктопі, сайт очікує суттєва втрата трафіку та погіршення позицій, оскільки Google не зможе отримати цю інформацію для індексації.

Відсутність структурованих даних (Schema): Якщо розмітка Schema.org є лише на десктопі, Google втратить важливі дані про товари, ціни, відгуки чи рецепти, що унеможливить отримання розширених сніппетів.

Відсутність медіа та метаданих: Недоотримання зображень призведе до втрати трафіку з Google Images. Різні метатеги <title> або <meta description> на мобільному призведуть до некоректного формування сніппетів.

Інші спеціалізовані боти Google

Окрім Smartphone та Desktop роботів, Google використовує спеціалізовані краулери для різних завдань:

Googlebot Image: Сканує та індексує зображення для Google Images та Discover.

Googlebot Video: Індексує відеоконтент для відео-блоків у видачі.

Googlebot News: Збирає актуальні статті для Google Новин (працює під загальними юзер-агентами Googlebot).

Google StoreBot: Сканує комерційні пропозиції для вкладки Google Shopping.

Google-InspectionTool: Використовується виключно інструментами перевірки (Live Test у Search Console, Rich Results Test).

GoogleOther / GoogleOther-Image / GoogleOther-Video: Загальні боти для внутрішніх R&D-проектів та збору публічного контенту.

Google-CloudVertexBot: Сканує сайти для навчання Vertex AI Agents за запитом власників.

Google-Extended: Спеціальний токен контролю, який визначає, чи може Google використовувати контент сайту для тренування ШІ-моделей (Gemini) та покращення їх відповідей.

AdsBot-Google: Перевіряє цільові сторінки для оцінки якості реклами Google Ads.

Як визначити, який саме Googlebot сканував сайт?

Google Search Console: Інструмент URL Inspection (Перевірка URL) показує інформацію про останнє сканування сторінки, зокрема тип робота (Smartphone чи Desktop), який здійснив обхід. Також детальний розподіл за ботами доступний у звіті Crawl Stats (Статистика сканування).

Логи сервера (Server logs): Дозволяють моніторити запити роботів у реальному часі за їхнім юзер-агентом. Оскільки user-agent легко підробити (spoofing), легітимність бота завжди перевіряють за допомогою двокрокового DNS-запиту:

Крок 1: Робиться reverse DNS lookup для IP-адреси запиту. Справжній бот поверне ім'я хоста, що закінчується на .googlebot.com або .google.com.

Крок 2: Робиться forward DNS lookup для отриманого хоста, щоб перевірити, чи збігається IP з початковим.

Основні вимоги до мобільної версії для Googlebot Smartphone

Для безперешкодного сканування та рендерингу мобільної версії SEO-фахівець повинен перевірити такі пункти:

Доступність ресурсів: Переконатися, що файли стилів (CSS), скрипти (JS) та зображення не заблоковані директивою Disallow у robots.txt. Googlebot Smartphone має бачити сторінку повноцінно.

Паритет контенту та метаданих: Мобільна сторінка повинна містити такі ж заголовки (H1-H6), тексти, структуровані дані Schema та метатеги title / description, як і десктоп.

Рендеринг JavaScript та Lazy-loading: Заборонено налаштовувати lazy-load контенту так, щоб він вимагав взаємодії користувача (кліку, скролу чи введення тексту) — Googlebot не взаємодіє зі сторінкою й просто не побачить цей вміст.

Якість візуальних елементів: Зображення мають бути високої роздільної здатності, у підтримуваних форматах (наприклад, SVG чи JPG, але не JPG всередині inline SVG) та з ідентичними alt-текстами.

Налаштування Separate URLs (якщо є m-dot субдомен):

Статуси помилок (наприклад, 404) мають бути однаковими для обох версій.

Мобільні URL-адреси не повинні містити фрагментів із символом #, оскільки вони не індексуються.

Усі десктопні сторінки повинні мати точний мобільний еквівалент (не можна перенаправляти всі десктопні сторінки просто на мобільну головну).

Налаштувати теги rel="canonical" на мобільній версії (вказує на десктопний URL) та rel="alternate" на десктопній (вказує на мобільну версію).

Потужність сервера: Мобільний хостинг повинен мати достатній запас продуктивності (hostload), щоб впоратися з потенційним зростанням швидкості та частоти сканування.