Як відрізнити URL від вільного домену?

1. У чому різниця між URL, доменом і сторінкою сайту?

URL (Uniform Resource Locator): Це повна мережева адреса конкретного документа чи ресурсу в інтернеті (наприклад, [suspicious link removed] або [suspicious link removed]).

Домен (Root domain / Registrable domain): Це унікальна зареєстрована назва всієї системи чи організації у системі DNS (наприклад, example.com або stripe.com). Домен об'єднує всі сторінки та сервіси ресурсу.

Сторінка сайту (Web page): Конкретний HTML-документ або веб-ресурс, розміщений за певною URL-адресою, який завантажується та відображається браузером. Один домен може містити тисячі окремих сторінок, кожна з яких має власний URL.

2. Чому помилка 404 не означає, що домен вільний?

Помилка HTTP 404 Not Found означає, що веб-браузер успішно з'єднався із працюючим веб-сервером, але сам сервер не зміг знайти конкретний файл або сторінку за запитаною URL-адресою.

Оскільки сервер відповів і згенерував помилку 404, це беззаперечно доводить, що сам домен є зареєстрованим, активним та прив'язаним до працюючого хостингу. 404 стосується виключно відсутності окремого документа на сервері, а не відсутності реєстрації домену в реєстрі.

3. Що означає статус 410 Gone і чим він відрізняється від 404?

Статус HTTP 410 Gone — це офіційний сигнал сервера про те, що ресурс було остаточно і безповоротно видалено, і його відновлення за цією URL-адресою не планується.

Основна відмінність від 404:

404 Not Found сигналізує про тимчасову або неочевидну відсутність сторінки (вона могла бути перенесена, вилучена помилково або введена з опискою).

410 Gone чітко вказує на свідоме й остаточне вилучення.

Завдяки цьому пошукові роботи (Google, Bing) видаляють сторінки зі статусом 410 з пошукового індексу значно швидше, ніж при 404, та раціональніше перерозподіляють краулінговий бюджет.

4. Чи означають 403 або 5xx, що домен більше не використовується?

Ні, ці коди помилок не є свідченням того, що домен покинутий чи вільний:

HTTP 403 Forbidden: Вказує на те, що сервер працює, але свідомо забороняє доступ до сторінки (наприклад, через обмеження прав авторизації, файли конфігурації або цензурні блокування).

HTTP 5xx Server Error (500, 502, 503): Вказує на тимчасові технічні несправності, перевантаження або помилки конфігурації на самому веб-сервері чи проксі.

В обох випадках сервер відповідає в мережі, а отже, домен залишається зареєстрованим і перебуває під управлінням власника.

5. Що таке DNS error та NXDOMAIN і коли вони вказують на проблему з доменом?

DNS error: Загальна помилка системи доменних імен, яка виникає, коли браузер не може перетворити буквену адресу домену в IP-адресу сервера.

NXDOMAIN (Non-Existent Domain): Офіційна відповідь DNS-сервера про те, що запитувана доменна назва взагалі відсутня в системі DNS.

Коли NXDOMAIN вказує на проблему безпосередньо з доменом:

Домен взагалі не зареєстрований або його остаточно вилучено з баз реєстру.

Домен перейшов у спеціальні розрахункові чи блокувальні статуси життєвого циклу, під час яких він припиняє функціонувати (наприклад, clientHold, redemptionPeriod, serverHold).

Зауваження: Іноді NXDOMAIN виникає тимчасово для щойно зареєстрованих або продовжених доменів, поки оновлені DNS-записи поширюються мережею.

6. Як зрозуміти, що домен зареєстрований, але сайт на ньому не працює?

Такий домен називається паркованим (Parked Domain). Зрозуміти це можна за такими ознаками:

Заглушки замість сайту: При переході за адресою відображаються системні сторінки "Under Construction", "Coming Soon", посадкові блоки з рекламою (PPC) чи банери про продаж домену ("For Sale").

Наявність DNS-записів без веб-хостингу: DNS-сервери повертають відповідь, а WHOIS/RDAP показує активну реєстрацію, однак домен не підключений до активного веб-сервера чи пошти.

7. Як через RDAP або WHOIS перевірити реєстрацію домену?

WHOIS: Старий протокол (порт 43, текстовий формат), який вимагає окремих парсерів під різні TLD.

RDAP (Registration Data Access Protocol): Сучасний стандарт ICANN, що повертає впорядкований JSON-структурований відповідник через протокол HTTPS.

Процес перевірки:

Пошук відповідного RDAP-сервера здійснюється через офіційний bootstrap-файл IANA ([підозріле посилання вилучено]).

Надсилається HTTPS GET-запит вигляду: https://<rdap-server>/domain/<domain.com>.

Якщо сервер повертає статус 200 OK із датами створення (registration), закінчення (expiration), реєстратором та статусами — домен зареєстрований. Якщо повертається 404 Not Found (notFound: true) — домен відсутній у базі реєстру.

8. Як перевірити через registrar реальну доступність домену?

Програмні сервіси та реєстратори застосовують дворівневу перевірку:

Швидкий DNS-тест: Перевірка наявності DNS-записів. Якщо повертається NXDOMAIN, домен із високою ймовірністю вільний.

Авторитетна підтверджувальна перевірка через WHOIS/RDAP: Оскільки деякі зареєстровані або прострочені домени не мають активних DNS-записів (що дає хибний позитив у DNS), запит надсилається безпосередньо до WHOIS/RDAP баз.

Якщо WHOIS/RDAP повертає високий рівень впевненості (confidence: "high") і підтверджує відсутність запису, домен реально доступний для нової реєстрації (Hand-reg).

9. Чим відрізняються expired, pending delete, parked та available domain?

Parked Domain (Паркований): Активно зареєстрований та оплачений домен, який утримується власником і відображає заглушку чи рекламу.

Expired Domain (Прострочений): Домен, у якого закінчився оплачений термін реєстрації. Він переходить у статус прострочення (30–45 днів) та наступний redemptionPeriod (близько 30 днів), де сайт та пошта зупиняються, але оригінальний власник усе ще може його відновити.

Pending Delete (Очікує видалення / Termination period): 5-денний фінальний етап після завершення redemption period. На цьому етапі відновити домен уже неможливо, і він готується до примусового вилучення реєстром.

Available Domain (Вільний): Домен, який повністю видалено з реєстру, і будь-хто може вільно зареєструвати його за стандартною ціною.

10. Практичний алгоритм аналізу та відбору дроп-доменів

[1. Мертвий URL] ──> [2. Root Domain] ──> [3. Перевірка DNS] ──> [4. RDAP / WHOIS] ──> [5. Registrar Check] ──> [6. Аналіз Статусу] ──> [7. Кандидат на Дроп]

Мертвий URL (Dead URL): Виявлення битого посилання, що повертає коди 404, 410 або 5xx під час перевірки.

Виділення Root Domain: Скорочення повного URL до основного зареєстрованого домену (eTLD+1), відсікаючи піддомени та шляхи.

Перевірка DNS (DNS Lookup): Швидке сканування DNS-записів. Якщо повертається NXDOMAIN, це перший сигнал про можливість вилучення домену з реєстру.

Запит RDAP / WHOIS: Надсилання запиту до бази реєстру через RDAP чи WHOIS для отримання дати закінчення терміну (Registry Expiry Date) та EPP-статусів.

Registrar Check (Перевірка через реєстратора): Отримання підтвердження доступності через API реєстратора з високою точністю.

Аналіз статусу життєвого циклу:

Якщо статус redemptionPeriod або pendingDelete — домен готується до дропу (потрібне замовлення на перехоплення / backorder).

Якщо відповідь 404 Not Found у RDAP (available: true) — домен повністю вільний для нової реєстрації.

Кандидат на дроп: Занесення вільного або вилученого домену до списку викупу після додаткової перевірки історії у Wayback Machine.