Як шукати в бізнес-довідниках для знаходження дроп-доменів?

1. Що означає «зниклий сайт» і чому довідники зберігають посилання роками?

Зниклий сайт (дроп-домен / expired domain): Це вебресурс, чий власник припинив діяльність бізнесу, закрив проєкт або з якихось причин не продовжив щорічну реєстрацію доменної назви.

Чому довідники зберігають посилання роками: Якісні галузеві каталоги та бізнес-довідники наповнюються вручну або модеруються під час додавання компанії. Модератори рідко проводять суцільну регулярну перевірку статусів усіх вихідних посилань (link health checks). У результаті запис про компанію та зовнішнє посилання на її сайт залишаються в каталозі роками навіть після того, як самий домен звільнився.

2. Які довідники найкраще підходять для пошуку?

Для знаходження доменів із чистою історією та високим авторитетом найефективніше використовувати:

Професійні асоціації та галузеві об'єднання (Trade Associations): Офіційні списки членів асоціацій виробників, будівельників, медиків чи інженерів. Посилання тут проставляються вручну й несуть високу довіру від пошукових систем.

Торгові палати (Chambers of Commerce): Регіональні та національні довідники підприємств із підтвердженою легітимністю бізнесу.

Офіційні сертифікаційні реєстри та списки виставок (Exhibitor Rosters): Бази даних акредитованих підприємств (стандарти ISO, ASME тощо) та реєстри учасників галузевих заходів.

Модеровані локальні B2B-каталоги: Регіональні довідники з суворою перевіркою заявок (наприклад, Gelbe Seiten, Das Örtliche у Німеччині або ua-region в Україні).

Освітні (.edu) та урядові (.gov) ресурсні розділи: Списки рекомендованих джерел та корисних посилань на сайтах університетів чи міських рад.

3. Як використовувати Google Dorks для знаходження каталогів і списків компаній?

Використання операторів Google Dorks дозволяє виявляти модеровані довідники та списки компаній, відсіюючи спамні агрегатори.

Основні оператори: site: (обмежує домен/ccTLD), intitle: (слово в заголовку сторінки), inurl: (слово в адресі URL), " (точний збіг фрази), - (виключення) [128–131, 239–247].

Практичні приклади запитів:

"[ваша ніша]" inurl:resources intitle:resources — пошук ресурсних сторінок.

site:.org inurl:members "trade association" "[ніша]" — пошук списків членів асоціацій.

intitle:"галузевий каталог" OR intitle:"список підприємств" "виробництво".

site:.de intitle:"Impressum" "Handwerker" -inurl:shop -casino — пошук німецьких майстрів із виключенням магазинів та спаму.

4. Як шукати зниклі сайти в конкретних країнах (мова, GEO, ccTLD)?

Фільтрація за ccTLD (національні доменні зони): Застосовуйте site:.de (Німеччина), site:.co.uk (Великобританія), site:.com.ua / site:.ua (Україна), site:.jp (Японія).

Географічні та юридичні маркери (Footprints): Додавайте до запитів назви міст чи регіонів ("Мюнхен", "Львів", "Manchester") та обов'язкові місцеві реквізити чи футноти [238, 246, 252–253]:

Німеччина / Австрія / Швейцарія (DACH): "Impressum", "Datenschutz", "GmbH", "Handelsregister".

Велика Британія / США: "Company Number", "VAT number", "LLC", "Inc".

Україна: "ЄДРПОУ", "ФОП", "Контакти".

Франція: "Siret", "TVA", "Mentions légales".

5. Як знаходити та масово перевіряти зовнішні посилання (Screaming Frog, Ahrefs, A-Parser)?

Screaming Frog SEO Spider: У налаштуваннях увімкніть Configuration $\rightarrow$ Spider $\rightarrow$ Advanced $\rightarrow$ Check External Links. Запустіть сканування сторінки каталогу. У вкладці Response Codes застосуйте фільтр No Response (що відповідає помилці з'єднання чи DNS) або експортуйте всі зовнішні URL [79–80].

Ahrefs: Увійдіть у Site Explorer $\rightarrow$ звіт Outgoing Links $\rightarrow$ Broken Links або Linked Domains для вилучення списку зовнішніх сайтів.

A-Parser / Власні парсери: Для багатопотокового збору використовуйте модулі парсингу SERP за Dork-запитами, екстракції вихідних посилань (Outbound Links) та пакетної перевірки кодів відповідей сервера й DNS.

6. Як відрізнити справді зниклий сайт від тимчасово недоступного ресурсу?

HTTP 404 Not Found: Сервер працює й відповідає, але konkrétна сторінка відсутня. Домен активний і зареєстрований.

HTTP 410 Gone: Ресурс свідомо видалено, але домен залишається зареєстрованим.

HTTP 403 Forbidden / 5xx Server Error: Сервер працює, але блокує доступ або має технічні неполадки. Домен зареєстрований [197–199].

DNS error / NXDOMAIN / No Response: Браузер або краулер не може перетворити доменне ім'я в IP-адресу (Non-Existent Domain). Це головний сигнал про те, що домен не має активних DNS-записів і з високою ймовірністю є простроченим або видаленим із реєстру.

Редиректи (301/302): Домен функціонує й перенаправляє на інший сайт.

7. Як визначити статус домену через RDAP/WHOIS і реєстраторів?

Перевірка через RDAP (Registration Data Access Protocol) / WHOIS: RDAP є сучасним HTTPS/JSON-стандартом ICANN. Запит до RDAP API (наприклад, через Node-бібліотеку rdapper чи спеціальні сервіси) повертає чіткий статус [94–96, 204]:

Якщо RDAP повертає 404 Not Found або isAvailable: true — домен повністю вільний для нової реєстрації (Hand-reg).

Якщо статус redemptionPeriod (30 днів після закінчення) або pendingDelete (фінальний 5-денний етап перед видаленням) — домен готується до дропу, і для його перехоплення потрібне замовлення бакордеру (Backorder).

Якщо повертаються дати створення/закінчення та статуси clientTransferProhibited / ok — домен зареєстрований і зайнятий.

Перевірка у реєстраторів: Фінальне підтвердження доступності через API реєстраторів (Ukrnames, Nic.ua, ExpiredDomains, GoDaddy).

8. Як використовувати Wayback Machine для відновлення історії та перевірки спаму?

Перевіряйте всі наявні архівні знімки у web.archive.org (не лише останні 3–5).

Оцінка історії:

Справжня колишня тематика: Послідовна історія сайту, наявність реальних фотографій, контактів засновників та унікального дизайну.

Зсуви тематики (Topic Flips): Неприпустимо, якщо сайт автосервісу чи школи раптово перетворювався на казино, порно чи спам-блог про фармакологію.

PBN та дорвеї: Використання автогенерованого тексту, масові вихідні посилання на сторонні сайти, відсутність контактів.

Відновлення контенту: Не копіюйте старий текст слово в слово (це створює юридичні ризики порушення авторських прав та дублікати в індексі Google). Відновлюйте структуру, тематику та точні URL-адреси, але переписуйте текст заново [43, 64–66].

9. Як оцінювати SEO-цінність знайденого домену?

Якість посилального профілю (Referring Domains): Оцінюйте не суху метрику DR, а наявність посилань із живих, авторитетних та тематичних сайтів (новини, асоціації, урядові та освітні ресурси) [40, 160–167].

Анкорний профіль: Повинен містити брендові назви, природні безанкорні URL та нейтральні фрази. Відсутність точного комерційного чи іншомовного спаму.

Історичне ранжування та трафік (Ahrefs / Serpstat): Перевірте історію ключових слів та наявність пошукового трафіку на конкретних сторінках у минулому [169, 172–175, 226].

Підтверджена Entity (Сутність бізнесу): Збіг даних NAP (Name, Address, Phone) у каталогах із державними реєстрами підтверджує, що домен належав реальній компанії [274–275].

10. Як створити автоматизовану систему пошуку дроп-доменів?

[1. Пошук Каталогів] ──> [2. Scraping Outbound URL] ──> [3. Перевірка DNS (NXDOMAIN)] ──> [4. RDAP / WHOIS API]
(Google Dorks / A-Parser) (Screaming Frog / Sheets) (Відсіювання 404/410/5xx) (Статус доступності)
│
[8. Кандидат на викуп] <── [7. SEO-Аудит Ahrefs] <── [6. Web Archive API] <── [5. Перевірка Entity] ◄──┘

Пошук каталогів (Dorking): Автоматизований збір сторінок каталогів через Dork-запити за допомогою A-Parser або Python-скриптів [2, 132–133, 280].

Скрапінг вихідних посилань (Scraping): Витягування всіх зовнішніх URL за допомогою Screaming Frog або A-Parser.

Нормалізація та DNS-фільтр: Зведення адреси до кореневого домену (eTLD+1), видалення дублікатів і перевірка через DNS lookup. Відсіювання працюючих сайтів (з кодами 404/410/5xx) та залишення лише доменів із помилкою з'єднання / NXDOMAIN.

Запит до RDAP / WHOIS API: Пакетна перевірка статусів реєстрації (за допомогою rdapper або API реєстратора) для виявлення доменів зі статусом available / notFound або pendingDelete [94–96, 210, 281].

Перевірка Entity: Автоматичне зіставлення назви й реквізитів підприємства у державних реєстрах.

Аналіз Web Archive API: Автоматична перевірка історії знімків на відсутність спаму та PBN-структур.

SEO-аудит через Ahrefs / Moz API: Пакетний витяг метрик (DR, кількість реферальних доменів, анкорний профіль).

Шортлист і рішення про купівлю: Формування підсумкової оцінки (Scoring) у Google Sheets для вільної реєстрації (Hand-reg) чи розміщення замовлення на перехоплення (Backorder) [41–42, 211, 282].