Що таке токен і як він впливає на обсяг запиту й відповіді?

1. Що таке токен (Token) у штучному інтелекті та чому моделі працюють саме з ними?

Визначення: Токен — це базова фундаментальна одиниця вимірювання та обробки тексту в мовній моделі.

Відмінність від слів, літер та байтів: Моделі штучного інтелекту не зчитують текст безпосередньо літерами чи словами. Токеном може бути ціле слово, частина слова (підслово, префікс чи суфікс), один символ чи навіть пробіл. В англійській мові один токен дорівнює приблизно 4 символам або ~0,75 слова. На найнижчому рівні сучасні токенізатори оперують 256 байтовими значеннями, що дає змогу закодувати будь-який символ чи мову без втрати інформації.

Чому саме токени: Використання токенів (підслів) дозволяє знайти баланс між гігантським словником цілих слів (який не здатен охопити рідкісні словоформи) та символьним представленням, яке створює надто довгі послідовності й суттєво підвищує обчислювальні витрати.

2. Що таке токенізація (Tokenization) і як працює токенізатор?

Токенізація — це процес розбиття вхідного тексту на токени та перетворення кожного фрагмента на відповідний числовий ідентифікатор — Token ID.

Принцип роботи токенізатора (Tokenizer):

Пре-токенізація: Текст розбивається за пробілами та розділовими знаками.

Застосування правил об'єднання (Merges): Застосовується алгоритм Byte-Pair Encoding (BPE) чи Unigram. Алгоритм BPE ітеративно шукає найчастіші пари послідовних символів і об'єднує їх у нові токени (наприклад, t + h $\rightarrow$ th, th + e $\rightarrow$ the).

Чому слово складається з кількох токенів: Часті слова (наприклад, hello) зберігаються як єдиний токен, тоді як рідкісні, довгі або складні слова розбиваються на підслова (наприклад, unbelievable $\rightarrow$ un + bel + iev + able або tokenizing $\rightarrow$ token + iz + ing).

3. Як підраховується кількість токенів і чому українська займає більше?

Різниця між мовами: Більшість сучасних токенізаторів тренувалися переважно на англомовних текстових корпусах. Через це англійські слова стискаються в 1 токен, а текст морфологічно складних мов із флексіями (зокрема української) розбивається на більшу кількість дрібних фрагментів. У результаті аналогічний за змістом текст українською мовою може займати у 2–3 рази більше токенів, ніж англійською.

Як отримати точний підрахунок: Спрощені формули на кшталт "кількість символів / 4" дають похибку понад 30–40% на неангломовному тексті, коді чи спеціальних символах. Для точного розрахунку для моделей OpenAI використовують офіційну бібліотеку Tiktoken (з кодуваннями cl100k_base або o200k_base), а для відкритих моделей (Llama, Gemma) — бібліотеки Hugging Face tokenizers.

4. Вхідні (Input Tokens) та вихідні токени (Output Tokens) і їхній розподіл

Вхідні токени (Input / Prompt Tokens): Усі токени, які надсилаються в модель у складі запиту.

Вихідні токени (Output / Completion Tokens): Токени, які генеруються моделлю у відповідь.

Розподіл контексту: Загальний ліміт токенів сесії розподіляється між:

Прихованими системними інструкціями (System Prompts).

Історією розмови (Conversation History), включаючи рольові маркери та службові символи.

Поточним промптом користувача (User Prompt) та доданими файлами чи таблицями.

Буфером для генерації відповіді (Output Tokens).

5. Що таке контекстне вікно (Context Window)?

Визначення: Контекстне вікно — це робоча пам'ять моделі, що визначає граничну сумарну кількість токенів (вхідні + вихідні + системні), яку система може одночасно обробляти під час одного звернення.

Чому це є обмеженням: Контекстне вікно вимірюється суворо в токенах, а не в словах чи сторінках. Коли обсяг діалогу або завантажених документів наближається до межі контекстного вікна, модель починає втрачати когерентність, пропускати факти в середині довгого тексту (феномен "Lost in the Middle") або галюцинувати.

6. Token Limit, Max Output Tokens та їх відмінності

Загальний ліміт контексту (Context Window Limit): Максимальний обсяг пам'яті моделі на сесію (наприклад, 128k для GPT-4 або 200k для Claude).

Max Output Tokens (Максимальна довжина відповіді): Окреме обмеження на кількість токенів, яку модель може згенерувати за один вихідний крок (наприклад, 4096 токенів), навіть якщо загальне вікно контексту значно більше.

Ліміти використання сервісу (Rate Limits / TPM): Обмеження платформи на кількість токенів за хвилину (Tokens Per Minute) чи кількість запитів за хвилину (RPM).

7. Вплив токенів на швидкість, вартість та роль кешування

Розрахунок вартості через API: Тарифікація використання API здійснюється за кожні 1000 або 1 мільйон вхідних та вихідних токенів.

Чому ціни відрізняються: Вихідні токени коштують дорожче за вхідні, оскільки генерація кожного нового токена вимагає послідовних обчислень авторегресії, тоді як вхідні токени обробляються паралельно.

Роль промпт-кешування (Prompt Caching): Дозволяє повторно використовувати вже оброблені статичні системні промпти чи бази знань за нижчою ціною (знижка за cache-hit) і з меншою затримкою.

8. Що відбувається при перевищенні ліміту токенів?

Помилка API: Якщо вхідний промпт перевищує розмір контекстного вікна, система повертає помилку й відхиляє запит.

Втрата контексту (Truncation): У чат-інтерфейсах старі повідомлення випадають з операційної пам'яті, через що ШІ втрачає початкові інструкції чи деталі розмови.

Обрив відповіді: Якщо генерація досягає ліміту max_output_tokens, текст раптово обривається на пів слові або незакритій синтаксичній структурі (наприклад, у JSON).

9. Як оптимізувати використання токенів?

Оптимізація форматів даних (JSON $\rightarrow$ TSV / TOON): Традиційний JSON витрачає майже вдвічі більше токенів через дублювання ключів та лапок. Перехід на TSV або TOON зменшує витрату токенів на 30–60% та прискорює генерацію.

Скорочення назв полів: Скорочення ключів у JSON (наприклад, message_is_continuation $\rightarrow$ cont) заощаджує десятки токенів на кожному об'єкті.

Багатокрокова обробка (Map-Reduce / Chunking): Великі масиви документів діляться на окремі частини (чанки), які обробляються паралельно (Map), після чого зводяться в фінальний результат (Reduce).

10. Практичне застосування знань про токени для SEO-фахівця

Аналіз SEO-звітів та GSC даних: Для запобігання переповненню контексту не слід вставляти сирі таблиці на тисячі рядків. Ефективно передавати відфільтровані вибірки по 300–600 найважливіших рядків або обробляти дані сегментами.

Вибір форматів експорту: При передачі списків ключових слів чи доменів використовуйте структури TSV або CSV замість об'ємного JSON.

Автоматизація на Python та Codex: При написанні скриптів автоматизації інтегруйте бібліотеку tiktoken для попереднього розрахунку вартості й контролю лімітів до надсилання запитів до API.