Що можна знайти у старих RSS-стрічках і як використовувати їх для пошуку потенційних дроп-доменів?

1. Що таке RSS та Atom і як вони працюють?

Визначення: RSS (Really Simple Syndication) та Atom — це родина XML-форматів веб-синдикації, призначених для стандартизованого опису та автоматичної трансляції новинних стрічок, анонсів статей, блог-постів чи медіа-контенту.

Принцип роботи: Сервер сайту генерує та оновлює структурований XML-файл (наприклад, /feed/ або /atom.xml), який містить останні матеріали з метаданими. RSS-агрегатори, пошукові роботи та скрипти регулярно звертаються до цього файлу для отримання оновлень без необхідності вручну переглядати веб-сторінки [69, 134–135].

Користь старих стрічок для пошуку зниклих сайтів: Багато старих блогів, новинних порталів або агрегаторів закриваються, однак їхні збережені або заархівовані RSS/Atom стрічки зберігають прямі текстові посилання (<link>) на джерела та сайти партнерів. Оскільки ці стрічки містять точні URL-адреси з минулого, вони слугують цінним джерелом для пошуку «мертвих» вихідних посилань (Broken Outbound Links) та виявлення якісних дроп-доменів із збереженим посилальним авторитетом.

2. Яку інформацію містять XML-елементи у старих RSS?

Структура RSS 2.0 та Atom містить чітко розпарсовані метадані:

<title>: Заголовок конкретної статті чи всього каналу.

<link>: Пряма URL-адреса оригінального матеріалу на сайті або вихідне посилання на першоджерело.

<description> (або <summary> в Atom): Короткий анонс, цитата або повний текст публікації.

<pubDate> (або <updated> в Atom): Точна дата та час створення матеріалу у стандартизованому часовому форматі.

<guid> (або <id> в Atom): Унікальний постійний ідентифікатор запису (URL або URN).

<category>: Тематичний розділ, рубрика чи тег контенту.

<author> (або <managingEditor>): Дані про автора чи редактора (ім'я, email).

3. Де знаходити старі RSS-стрічки?

Wayback Machine (Internet Archive): Пошук заархівованих XML-файлів за адресами видалених сайтів через календарний вигляд або прямі URL-шаблони [suspicious link removed]. Також можна використовувати архівний Python API для масового збору metadata-знімків [98–99].

Пошукові системи та архіви: Знаходження збережених XML-копій у веб-архівах (Common Crawl, Google Cache).

Аналіз HTML-коду заархівованих сторінок: Витягування посилань із мета-тега автовиявлення RSS: <link rel="alternate" type="application/rss+xml" href="...">.

4. Пошук RSS через Google Dorks

Для цільового виявлення старих або відкритих RSS-каналів використовують комбінації операторів:

filetype:xml inurl:rss [ключове слово] — пошук XML-файлів стрічок у конкретній ніші.

inurl:feed OR inurl:rss intitle:"RSS Feed" [найменування тематики] — виявлення розділів підписок та анонсів.

filetype:xml "xmlns:rdf" або filetype:xml "<rss version="2.0">" — пошук точних структур стандартів RSS 1.0/2.0 [136–137].

5. Як знаходити зниклі сайти через старі RSS?

Старі RSS-стрічки великих блог-платформ, інформаційних порталів або галузевих каталогів містять тисячі посилань на незалежні проєкти, авторські блоги та сайти підприємств.

Витягнувши всі зовнішні URL з елементів <link> та заархівованих текстів <description>, можна сформувати масовий список доменів. Якщо компанія чи блог припинили існування, їхні доменні імена залишаються у безгоспному стані, надаючи можливість придбати домен із готовим авторитетним посиланням.

Саме для такої роботи я розробляв NewsTrace Flow — програму для Google Таблиць, яка поєднує первинний аудит доменів із пошуком ознак новинного контенту. Я завершив її тестування й результатом задоволений: програма справді корисна та добре працює. Тепер хочу детально пояснити, що вона робить, як влаштована і який результат дає спеціалісту.

6. Аналіз зовнішніх посилань у RSS

Парсинг XML-структури: За допомогою XML-парсерів витягуються значення з елементів <link>.

Scraping HTML-контенту: За допомогою регулярних виразів або бібліотек для парсингу зчитуються всі гіперпосилання (<a href="...">), розміщені в блоках <description> або <content:encoded>.

Нормалізація: Виділяються кореневі домени (eTLD+1) та відсіюються повтори для формування чистих списків на перевірку.

7. Відновлення історії колишнього сайту за RSS

Хронологічний аналіз XML-елементів дозволяє відтворити біографію проєкту:

Динаміка публікацій (pubDate): Показує період реальної активності сайту, частоту оновлень та часовий проміжок, коли проєкт було покинуто.

Тематична чистота (category, title): Допомагає переконатися, що сайт належав реальному бізнесу чи блогу, а не використовувався під PBN чи дорвеї.

Сутність бізнесу (Entity): Елементи <author> та назви рубрик підтверджують авторство та реальний профіль підприємства.

8. Як визначити доступність домену для реєстрації?

Перевірка DNS та HTTP: Помилки 404 Not Found або 5xx свідчать про те, що сервер відповідає, а домен зареєстрований. Сигналом про відсутність активних записів є помилка з'єднання або статус NXDOMAIN [76–77, 84].

Запит до RDAP / WHOIS: Використання сучасного протоколу RDAP (Registration Data Access Protocol) через API (наприклад, Apify Domain Age Checker) повертає чіткий JSON-статус [15–16].

Статуси доступності: Якщо RDAP повертає notFound: true або 404 — домен повністю вільний для нової реєстрації (Hand-reg) [16, 23–24]. Якщо домен перебуває у статусі redemptionPeriod чи pendingDelete, для його викупу необхідно замовляти бакордер (Backorder).

9. Автоматизація масового аналізу RSS (Python + Apps Script)

Python-скрипт: Застосування бібліотек requests для завантаження XML, feedparser або xml.etree.ElementTree для розбору елементів стрічки, та tldextract для виділення кореневих доменів.

Автоматичний конвеєр:
Збір RSS ➔ Парсинг посилань ➔ Фільтрація унікальних eTLD+1 ➔ DNS Lookup (NXDOMAIN) ➔ RDAP API Check ➔ Шортлист доступних доменів.

Google Sheets & Apps Script: Ведення бази знахідок, авто-перевірка дублікатів та завантаження підсумкових результатів.

10. Оцінка SEO-цінності знайденого домену

Перевірка через Wayback Machine (Internet Archive): Зіставлення заархівованої RSS-історії зі знімками сайту для виявлення спам-зсувів тематики (Topic Flips), агресивної реклами чи PBN-сіток.

Оцінка беклінків та анкорів (Karma.Domains / Ahrefs): Перевірка наявності авторитетних донорів (новинні ресурси, урядові .gov чи освітні .edu сайти) та відсутності токсичного спаму в анкорах.

Підтвердження Entity: Перевірка відповідності назви компанії та контактів (NAP) реальним реєстраційним відомостям.