Звідки Ahrefs отримує дані про сайти, посилання та ключові слова?

1. Що таке AhrefsBot і яку роль він відіграє у зборі даних?

AhrefsBot — це власний пошуковий робот (веб-краулер) компанії Ahrefs, який сканує відкритий інтернет 24/7. Його версія AhrefsBot 7.0 використовує офіційний рядок ідентифікації user-agent: Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/).

AhrefsBot відіграє першочергову роль у наповненні бази даних платформи:

Інтенсивність сканування: Бот обходить понад 8 мільярдів сторінок кожні 24 години та здійснює обхід 5 мільйонів сторінок щохвилини.

Виявлення та оновлення: За добу він знаходить 10 мільйонів нових сторінок і оновлює дані про 300 мільйонів уже відомих.

Збір метрик: Робот завантажує вміст сторінок, фіксує технічний стан сайтів, популярний контент, ключові слова та зворотні посилання.

Рендеринг JavaScript: Для виявлення посилань, інтегрованих за допомогою JS, Ahrefs щодня рендерить близько 80 мільйонів сторінок.

Статус у світі: За даними Cloudflare Radar, AhrefsBot є найактивнішим краулером у категорії «Search Engine Optimization» та посідає 3-тє (або 8-ме після Google та Bing) місце за активністю серед усіх роботів у світі. При цьому він суворо дотримується інструкцій robots.txt та директив затримки обходу (crawl-delay).

2. Як Ahrefs знаходить нові сайти, сторінки та посилання в інтернеті?

Процес виявлення (discovery) нових URL-адрес та посилань в Ahrefs побудований на циклічній роботі його краулерів:

Черга обходу: Робота починається з гігантського списку вже відомих адрес.

Планування: Спеціальний модуль Scheduler (Планувальник) визначає пріоритет та час обходу кожної адреси.

Завантаження: AhrefsBot завантажує вміст сторінки, суворо дотримуючись правил дозволу та заборони у файлі robots.txt.

Аналіз контенту: Модуль Parser (Парсер) витягує з коду сторінки нові лінки, заголовок сторінки та інші метадані.

Замикання циклу: Усі нові лінки, виявлені під час парсингу або переходів по редиректах, миттєво додаються до загального списку URL для подальшого планування та сканування.

Щоб знаходити посилання, які з'являються динамічно, Ahrefs запускає виконання JavaScript (рендеринг) для сторінок, які мають понад 15 донорів. Це дозволяє виявляти близько 250 мільйонів унікальних "JS" посилань щодня, які повністю відсутні в початковому HTML-коді.

3. Як формується база backlinks і referring domains Ahrefs?

База формується шляхом безперервного накопичення даних власними роботами AhrefsBot та AhrefsSiteAudit починаючи з 2013 року (загалом накопичено 16 років історичних даних). Платформа працює автономно і не використовує дані сторонніх пошукових систем чи каталогів (як-от Google, Alexa чи Webalta).

База даних backlinks формується з таких компонентів:

Масштаб сховища: База працює на основі розподіленої key-value бази даних, яка налічує 170 трильйонів рядків.

Зовнішні посилання: Налічує 35 трильйонів історичних записів про зовнішні беклінки, що охоплюють 493,9 мільярдів сторінок та 500,4 мільйона перевірених доменів.

Внутрішні посилання: База містить 22,21 трильйона внутрішніх посилань у живому індексі. Ці дані використовуються для розрахунку рейтингу URL (UR) за принципом, схожим на PageRank.

Відображення змін: У звітах користувачам показуються активні лінки, а також посилання, які були видалені протягом останніх 60 днів.

4. Звідки Ahrefs отримує інформацію про ключові слова?

Для побудови своєї бази ключових слів Ahrefs поєднує (змішує) дані з кількох різнопланових джерел:

Google Keyword Planner (GKP): Інструмент планування ключових слів Google.

Google Trends: Офіційні тренди популярності пошукових запитів Google.

Google Search Console (GSC): Знеособлені дані ефективності, які надходять від користувачів, що підтвердили свої сайти через сервіси на кшталт Ahrefs Webmaster Tools.

Інші сторонні джерела (third-party data), включаючи дані клікстріму (clickstream): Допомагають оцінити реальну частоту переходів користувачів.

Ahrefs здійснює збір даних лише після отримання згоди, після чого вся інформація повністю анонімізується та агрегується, щоб унеможливити ідентифікацію конкретних брендів, сайтів або окремих користувачів.

5. Як Ahrefs збирає та оновлює дані про позиції сайтів у Google?

Ahrefs збирає дані про позиції шляхом регулярного моніторингу та збереження результатів пошукової видачі (SERPs) за своєю базою ключових слів, яка містить 28,7 мільярда відфільтрованих запитів у 217 країнах.

Частота оновлення позицій у сервісах Keywords Explorer та Site Explorer є двохрівневою і залежить суто від популярності (частотності) ключового слова:

Високочастотні (популярні) запити: Перевіряються та оновлюються у базі найчастіше — кожні 1–2 дні.

Низькочастотні запити: Оновлюються значно рідше — раз на кілька тижнів або навіть один раз на 1–2 місяці.

6. Звідки беруться показники search volume, traffic potential, keyword difficulty та clicks?

Search Volume (обсяг пошуку): Розраховується шляхом моделювання даних Google Keyword Planner, Google Trends та сторонніх джерел. Оскільки інструмент GKP часто групує близькі за значенням слова та округлює результати (дослідження Ahrefs виявило, що GKP завищує обсяг пошуку у 54% випадків), Ahrefs застосовує власні алгоритми для «розгрупування» слів та уточнення цифр. Метрика базується на середньому значенні за останні 12 місяців для кожної локації.

Traffic Potential (потенціал трафіку): Прогнозує сумарний органічний трафік, який сторінка може залучити з Google, якщо вийде на перше місце за своїм основним запитом і всіма його синонімами (Ahrefs зазначає, що TP прогнозує реальний трафік значно точніше, ніж простий обсяг пошуку).

Clicks (кліки): Розраховуються за допомогою унікальних математичних моделей розподілу CTR, які переводять абстрактний обсяг пошуку в очікувану кількість реальних переходів користувачів. Кліки на пошук можна переглянути в Keywords Explorer.

Keyword Difficulty (KD): Розраховується на основі аналізу кількості та якості зовнішніх посилань на топ-10 конкурентів у поточній видачі за запитом, визначаючи складність виходу в топ-10.

7. Як Ahrefs оцінює органічний трафік сайту, якщо не має доступу до його Google Analytics?

Органічний трафік будь-якого сайту в Ahrefs є виключно аналітичною оцінкою (estimation). Розрахунок відбувається за таким алгоритмом:

Виявлення запитів: Система знаходить у своїй базі (наприклад, з 548 мільйонів ключових слів в індексі) абсолютно всі запити, за якими цільовий сайт чи конкретна сторінка зараз займають позиції у топ-100 Google.

Розрахунок по кожному слову: Для кожного запиту оцінюється трафік на основі його позиції у видачі, місячного обсягу пошуку та очікуваного показника CTR.

Сумування: Усі отримані значення кліків за кожним словом сумуються в єдиний показник місячного трафіку.

Методологічна фішка: Ahrefs не використовує загальну глобальну сітку CTR для всіх слів та не використовує шаблони SERP. Замість цього на основі даних клікстріму (clickstream) будується індивідуальна унікальна CTR-крива для кожного ключового слова окремо, яка потім застосовується до конкретної позиції сайту. Дані можна агрегувати за щоденною, тижневою або щомісячною шкалою.

8. Які дані Ahrefs отримує шляхом прямого збору, а які є розрахунковими або прогнозними?

Прямий збір (фактичні сирі дані):

HTML-код сторінок, заголовки, вихідні метадані та виявлені редиректи.

База зовнішніх (35 трлн) та внутрішніх (22,21 трлн) посилань.

Дані про рендеринг JS-посилань на серверах Ahrefs.

Обсяги ШІ-промтів (371 млн на місяць на 7 поверхнях) у системі Brand Radar.

Дані GA та GSC для підтверджених через кабінет власних сайтів.

Розрахункові, оценочні та прогнозні дані (Estimations):

Показники органічного пошукового трафіку (Organic Traffic).

Значення обсягу пошуку (Search Volume) та вартість кліку (CPC), розраховані через фільтрацію GKP та Google Trends.

Прогнози кількості кліків (Clicks) та індивідуальні криві CTR.

Складність ключових слів (Keyword Difficulty).

Показники авторитетності Domain Rating (DR) та URL Rating (UR), які розраховуються за логарифмічною шкалою на основі посилального профілю всього домену чи сторінки.

9. Як часто Ahrefs оновлює дані про backlinks, ключові слова, позиції та органічний трафік?

Беклінки (Backlinks): Свіжі посилання потрапляють в індекс кожні 15–30 хвилин. Проте повний цикл оновлення (пересканування) посилань по всьому Інтернету займає близько двох місяців (популярні сторінки оновлюються до 60 разів за цей період, маловідомі — один раз).

Позиції (SERPs): Для високочастотних запитів оновлення відбувається кожні 1–2 дні; для низькочастотних — раз на кілька тижнів або навіть один раз на 1–2 місяці.

Search Volume та CPC: Перераховуються кожні кілька тижнів, щонайменше один раз на місяць для кожного ключового слова.

Органічний трафік: Оскільки цей показник динамічно залежить від позицій та обсягу пошуку, він перераховується щодня на GMT +00:00, щотижня (середнє за 7 днів) або щомісяця (середнє за місяць) відповідно до обраних налаштувань.

10. Чому дані Ahrefs можуть відрізнятися від Google Search Console, Google Analytics та інших SEO-сервісів?

Масштабне дослідження 7 500+ сайтів, проведене Collaborator та Сергієм Кокшаровим (Devaka), показало такі закономірності:

Різниця з Google Search Console: Дані Ahrefs та GSC мають найвищу кореляцію (0,67), оскільки обидва сервіси аналізують видимість сайту в пошуку (ключові слова, позиції, кліки з органіки). Проте GSC показує реальну та точну статистику переходів користувачів (яка є тільки у Google), тоді як Ahrefs виводить прогнозну математичну модель (позиція × SV × розрахований CTR).

Різниця з Google Analytics: Кореляція помірна (0,59). Ahrefs оцінює виключно органічний пошуковий трафік з Google. Google Analytics відображає загальний фактичний трафік (включаючи Direct, Social, Referral, Paid тощо). Крім того, в GA частина органічного трафіку може втрачати реферер та помилково записуватися в Direct. GA та GSC також використовують різні алгоритми фільтрації ботів.

Аномалії регіонів (на прикладі України): Кореляція між GA та GSC для українських сайтів є критично низькою — лише 0,21. Це пов'язано з великою кількістю накруток трафіку (штучних бот-сесій), які фіксує GA, але повністю відсікає GSC (оскільки реальних переходів з пошуку не було). Для оцінки українських сайтів зв'язка даних Ahrefs та GSC є найбільш надійною (їхня взаємна кореляція становить максимальні 0,68).