Як я автоматизував перевірку історії дроп-доменів через Web Archive

Скачати Wayback Audit 5.8

Авторський модуль для Google Sheets для автоматичної перевірки історії дроп-доменів через Wayback Machine.

Програма підтримує швидкий і глибокий режими, фонову перевірку списків, аналіз тематичних та мовних сигналів, поточні й історичні редиректи, окрему таблицю доказів та автоматичне відновлення після тимчасових обмежень.

Платформа: Google Sheets
Технологія: Google Apps Script
Версія: 5.8
Основне джерело: Wayback Machine / CDX API
Режими: Швидкий / Глибокий
Робота у фоні: Так
Окремі докази: Так
Історичні редиректи: Так
AI для основного автоматичного режиму: Не потрібен

Wayback Audit 5.8 — мій інструмент для глибокої перевірки історії домену

Під час роботи з дроп-доменами я дуже швидко зрозумів одну річ: перевірити домен у Web Archive вручну — не проблема, якщо домен один. Проблема починається, коли їх десятки або сотні.

Потрібно відкривати різні роки, переглядати URL, дивитися тематику, шукати сторонні вставки, перевіряти редиректи, намагатися зрозуміти, чи не змінювалася тематика сайту, і при цьому не пропустити важливий сигнал.

Саме тому я створив Wayback Audit 5.8, який у Google Sheets має назву Web Archive 5.8.

Це модуль для Google Таблиць, який автоматизує значну частину перевірки історії доменів через Wayback Machine і перетворює звичайний список доменів у керований процес аудиту.

Інструмент може працювати з великою кількістю доменів у фоні, а після запуску таблицю та браузер можна закрити — перевірка продовжується через фонові Apps Script triggers. Sidebar

Для чого я створив Wayback Audit

Основна задача програми — допомогти швидко відповісти на питання:

«Що насправді відбувалося з цим доменом у минулому?»

Для дроп-домену недостатньо просто побачити, що в Wayback є snapshots.

Потрібно зрозуміти:

чи був там реальний сайт;

якою була його тематика;

чи не з'являвся спам;

чи не змінювався сайт на казино, фарму або іншу небажану тематику;

чи не було стороннього редиректу;

чи не змінився домен радикально за кілька років;

чи є реальні докази того, що ми бачимо.

Саме навколо цього й побудована логіка Wayback Audit.

Як працює програма

Wayback Audit бере список доменів із будь-якого аркуша Google Sheets.

Користувач вибирає:

аркуш;

колонку з доменами;

рядок, із якого починати;

кількість доменів або весь список;

режим перевірки;

період історичних редиректів.

Панель автоматично намагається визначити колонку, яка схожа на колонку з доменами, що особливо зручно у великих таблицях. WaybackAudit

Після запуску створюється фонова черга, зберігається прогрес і запускається автоматичний worker. У поточній конфігурації фоновий запуск планується приблизно кожні 5 хвилин, а перший запуск створюється практично одразу. WaybackAudit WaybackAudit

Швидкий режим

У програмі є два режими.

Перший — Швидкий.

Його задача — дати попередню картину домену без масового читання архівного HTML.

Швидкий режим працює в основному з URL та історією, тому він значно легший і дозволяє швидше проганяти великі списки.

У панелі я прямо розділив ці режими:

Швидкий — URL та історія

і

Глибокий — URL, Title і текст. Sidebar

Швидкий режим особливо корисний для первинного відбору.

Глибокий режим

Глибокий режим уже читає архівні сторінки.

Спочатку бот бере базову вибірку знімків, а якщо бачить неоднозначні або важливі сигнали, може розширити її.

У поточній логіці він спочатку намагається прочитати до трьох придатних HTML snapshots, а за поєднанням ознак розширює перевірку приблизно до шести, використовуючи до 14 кандидатів на знімки. WaybackAudit

Це важливий принцип.

Я не хотів бездумно завантажувати кожен snapshot домену.

Замість цього програма робить вибірковий аудит, а якщо даних недостатньо — прямо позначає це в результаті.

Повна історія через CDX

Для отримання архівних даних Wayback Audit працює з CDX API Wayback Machine.

Програма перевіряє:

головну сторінку;

варіант із www;

доменний scope;

останній snapshot;

історичні записи.

Використовується pagination і deduplication, а якщо частину CDX неможливо отримати, система не приховує цього, а ставить позначку про неповне покриття. WaybackAudit

Для мене це принципово важливо.

Програма не повинна говорити:

«Я перевірила всю історію»,

якщо фактично вона перевірила лише доступну вибірку.

Програма відсіює службові сторінки Wayback

Одна з проблем Wayback Machine — іноді замість старого сайту можна отримати:

службову сторінку;

Access Denied;

browser verification;

порожній HTML;

технічний JSON;

сторінку Internet Archive замість контенту.

Wayback Audit перевіряє, чи отриманий HTML справді схожий на реальну сторінку.

Службові сторінки, технічні відповіді та сторінки без достатньої кількості читабельного тексту не зараховуються як нормальний snapshot. WaybackAudit

Це дуже важливо, тому що інакше аналіз може будуватися не на контенті сайту, а на сторінці помилки.

Тематичний аналіз

Wayback Audit має власний набір правил для пошуку небажаної тематики.

У системі є сигнали для:

казино та ставок;

фарми;

sex-shop;

наркотичних речовин;

анаболічних стероїдів;

засобів для злому;

18+;

кредитів;

піратства;

медицини;

релігійних сайтів;

благодійних фондів;

та інших категорій. WaybackAudit

Але тут є дуже важлива особливість.

Програма не повинна карати домен просто за одне знайдене слово.

Наприклад, слово hospital у статті про будівельний проєкт ще не означає, що сайт був медичним.

Тому для частини правил використовується контекст: заголовок, текст, комерційна пропозиція, слова поруч, характер сторінки. WaybackAudit

Аналіз мови та письма

Окремо я додав мовний критерій.

У поточній логіці програма може окремо фіксувати, наприклад:

Han / китайське письмо;

Hangul;

арабське письмо.

Якщо такий критерій входить у правила конкретного відбору, домен може отримати статус, що він не підходить за мовним критерієм. При цьому сам код прямо відділяє цей критерій від твердження про спам: це правило відбору, а не доказ того, що сайт був зламаний або спамний. WaybackAudit

Це теж було для мене важливо — не змішувати факти та наші внутрішні критерії.

Поточні редиректи

Ще одна сильна частина Wayback Audit — перевірка редиректів.

Програма може перевіряти поточний стан домену і пройти redirect chain.

Вона дивиться:

HTTP status;

Location;

фінальний URL;

зовнішній чи внутрішній перехід;

чи не веде домен на parking / marketplace.

Для поточного redirect chain встановлено обмеження по кількості переходів, щоб не ходити нескінченно по циклу. WaybackAudit

Історичні редиректи

У глибокому режимі програма вміє перевіряти і історичні 3xx redirects.

У панелі можна вибрати:

всю доступну історію;

останні 2 роки;

останні 5 років;

останні 10 років. Sidebar

Програма шукає історичні 301, 302, 303, 307 та 308, вибирає з них репрезентативні записи і намагається підтвердити реальний Location.

При цьому службове перенаправлення самого Wayback Machine не приймається як доказ того, що старий сайт справді редіректив на інший домен. WaybackAudit WaybackAudit

Це одна з функцій, яку вручну перевіряти особливо незручно.

Паркінг не прирівнюється до спаму

У програмі окремо розпізнаються відомі parking / marketplace домени, наприклад Afternic, Sedo, GoDaddy, HugeDomains, Namecheap, Bodis та інші. WaybackAudit

Це потрібно для того, щоб не змішувати:

домен, який після дропа потрапив на паркінг

і

домен, який історично використовувався для сторонньої спамної тематики.

Для аналізу дропів це принципово різні речі.

Окрема вкладка з доказами

Я не хотів створювати програму, яка просто пише:

«Поганий домен — 80 балів».

Тому Wayback Audit створює окрему вкладку:

Web Archive — Докази.

Там зберігаються:

тип доказу;

сигнал;

дата snapshot;

URL;

посилання на Wayback;

raw HTML без панелі Wayback;

слово або символ;

кількість збігів;

частка;

фрагмент тексту;

пояснення;

Title. WaybackAudit

Це означає, що SEO-фахівець може не просто повірити програмі, а відкрити конкретний доказ і перевірити його вручну.

Вкладка з фінальним аналізом

Основний результат записується у:

Web Archive — Аналіз.

У таблиці зберігаються:

домен;

режим;

рівень ризику;

бал;

наявність архіву;

перший і останній рік у вибірці;

кількість CDX записів;

кількість прочитаних HTML;

мовні сигнали;

тематики;

історичні Title;

причина;

рекомендація;

Wayback;

поточний HTTP;

redirect chain;

final URL;

історичні редиректи;

докази;

повнота перевірки;

версія;

стан перевірки контенту. WaybackAudit

Тобто це не просто «чистий / поганий».

Це повний робочий звіт.

Фонова перевірка великих списків

Одна з головних причин створення Wayback Audit — можливість працювати з великими списками.

У швидкому режимі один фоновий пакет може містити до 20 доменів, а у глибокому — до 6. WaybackAudit

При цьому прогрес зберігається.

Якщо скрипт доходить до часового ліміту Apps Script, він не починає все заново, а продовжує з потрібного рядка в наступному запуску. WaybackAudit

Що відбувається при квотах і 429

Web Archive, Google Apps Script та зовнішні API можуть мати rate limits.

Я спеціально додав окрему систему для таких ситуацій.

Програма намагається зрозуміти:

який саме сервіс дав обмеження;

коли воно сталося;

чи це короткочасний rate limit;

чи добова квота;

коли можна зробити наступну спробу.

Для Wayback обробляються 429 та тимчасові 5xx, а для Google Apps Script — окремі помилки URL Fetch і runtime. WaybackAudit

У статусі користувач отримує не просто слово «помилка», а нормальне повідомлення з прогресом і орієнтовним часом наступної спроби. WaybackAudit

А що зі штучним інтелектом?

У коді Wayback Audit є підтримка Gemini та OpenAI.

Але поточний автоматичний режим навмисно запускається без AI.

У startWaybackAnalysis() AI зараз встановлено як false, а панель прямо називає режим:

«Автоматичний бот без ШІ». WaybackAudit

Тобто основний результат зараз будується детермінованими правилами, які можна перевірити.

AI-архітектура в коді залишена для контекстного аналізу, але не є необхідною умовою для основної автоматичної перевірки.

Особисто для мене це плюс: основний фільтр не залежить від «думки моделі».

Кому корисний Wayback Audit

Wayback Audit я створював насамперед для людей, які регулярно працюють із дроп-доменами.

Це може бути:

SEO-фахівець;

дропер;

PBN-команда;

link builder;

domain investor;

людина, яка регулярно перевіряє історію сайтів;

команда, яка відбирає десятки або сотні доменів.

Найбільшу користь програма дає тоді, коли ручна перевірка Wayback уже стає вузьким місцем у роботі.

Як встановити Wayback Audit 5.7

Для роботи потрібні Google Sheets і Google Apps Script.

Встановлення виглядає так:

Створіть нову Google Таблицю або зробіть копію робочої таблиці для тесту. Відкрийте Розширення → Apps Script.

Створіть файл WaybackAudit.gs і вставте туди весь код із файлу WaybackAudit.txt.

Створіть HTML-файл з назвою Sidebar і вставте туди код із Sidebar.txt. Саме цей файл відповідає за панель Web Archive 5.7. Sidebar

Додайте файл AppMenus.gs із наданого комплекту. Важливо: у проєкті повинен бути лише один onOpen(). У моєму комплекті AppMenus є єдиною точкою входу і безпечно підключає Web Archive та інші модулі. AppMenus

Збережіть Apps Script і поверніться до Google Таблиці. Оновіть сторінку.

У верхньому меню має з'явитися пункт 🕰️ Web Archive з командами відкриття панелі, відновлення та зупинки фонової перевірки. WaybackAudit

При першому запуску Google попросить надати дозволи Apps Script. Підтвердіть їх.

Відкрийте 🕰️ Web Archive → Відкрити панель, виберіть аркуш, колонку з доменами, кількість доменів і режим.

Для першої перевірки я рекомендую запустити 5–10 тестових доменів у швидкому режимі.

Якщо все працює правильно, можна запускати глибокий аналіз або більші списки.

Як користуватися програмою

Типова робота дуже проста.

У вас є будь-який аркуш із доменами.

Ви відкриваєте панель Web Archive, вибираєте потрібний лист і колонку.

Далі визначаєте:

з якого рядка починати;

скільки доменів перевірити;

або вибираєте всі домени до кінця аркуша;

Швидкий або Глибокий режим;

період historical redirects.

Після запуску система створює фонову чергу.

Прогрес видно прямо в sidebar:

Без сигналів

Потребують перевірки

Не підходять / критичні

Без висновку / помилки. Sidebar

Що означають результати

Я спеціально намагався не робити Wayback Audit «машиною істини».

Результат програми — це інструмент для прийняття рішення, а не абсолютний вирок.

Наприклад:

Ознак ризику немає означає, що у прочитаній вибірці правила не знайшли достатніх сигналів.

Це не означає, що перевірено буквально кожну сторінку за всю історію.

Підозрілий означає, що є сигнали, які потрібно перевірити.

Не підходить: тематика означає, що правило знайшло достатнє контекстне підтвердження небажаної тематики.

Не підходить: мовний критерій — це окремий внутрішній критерій відбору.

Зовнішній перехід означає, що виявлено підтверджений redirect на сторонній домен.

Чим Wayback Audit корисний у моїй роботі

До автоматизації я витрачав багато часу на однотипні дії:

відкрити Wayback;

клацнути кілька років;

подивитися старий сайт;

перевірити Title;

спробувати знайти спам;

відкрити інший рік;

перевірити redirect;

записати висновок у таблицю.

Wayback Audit прибирає велику частину цієї механіки.

Тепер програма спочатку сама збирає та структурує інформацію.

А я вже працюю не з хаотичною історією домену, а з:

результатом + причиною + конкретними доказами.

Саме це я вважаю головною цінністю інструменту.

Що мені особливо подобається в цій версії

Wayback Audit 5.7 — це вже не просто «парсер Wayback».

Для мене найбільш важливими стали три речі.

Перша — доказовість.

Якщо програма щось знайшла, я хочу бачити дату, snapshot, URL і точний фрагмент.

Друга — чесне ставлення до неповних даних.

Якщо CDX не повернув усю інформацію або HTML не вдалося прочитати, програма повинна це сказати.

Третя — фоновий режим.

Я можу запустити великий список і займатися іншою роботою.

Чого Wayback Audit не робить

Я не позиціоную його як систему, яка може на 100% довести, що домен чистий.

Wayback Machine сам по собі не гарантує повноту архіву.

Не всі сторінки були збережені.

Не всі snapshots доступні.

Частина сайтів могла блокувати архівацію.

Тому програма прямо використовує поняття вибірки та coverage.

Для мене це правильніше, ніж створювати хибне відчуття абсолютної точності.

Головна ідея Wayback Audit

Моя ціль була проста:

перетворити ручну перевірку Web Archive з десятків кліків на автоматизований, доказовий і керований процес.

Wayback Audit не замінює SEO-фахівця.

Він забирає рутину.

Він збирає історію.

Він знаходить підозрілі сигнали.

Він показує редиректи.

Він зберігає докази.

І після цього людина вже приймає рішення.

Саме таким я бачу правильний підхід до автоматизації аналізу дроп-доменів.