Если вы хоть раз читали про ChatGPT или Claude, наверняка встречали слово «токены». «128K токенов контекста», «цена $0.003 за 1000 токенов», «не хватает токенов». Что это такое — обычно никто не объясняет.
Я сам путался в начале. Токен — это слово? Буква? Непонятный технический термин? Разберём.
После этой статьи вы поймёте: что такое токены, почему это важно для использования AI и как это влияет на вас.
Токен — это не слово и не буква
Токен — это кусочек текста. Примерно 4 символа на английском, около 2-3 символов на русском. Но не всегда.
Нейросеть не читает текст как вы. Она видит текст как последовательность токенов — небольших фрагментов. Слово «привет» — это один токен. Слово «автоматизация» — может быть два токена. «ChatGPT» — один. «нейропоток» — возможно два.
Почему такое разбиение? Технические причины: так модель эффективнее обрабатывает текст. На практике вам не нужно знать конкретное разбиение — достаточно понимать порядок цифр.
Простое правило для оценки:
- 1000 слов текста ≈ 1200-1500 токенов на русском
- 1000 слов ≈ 700-900 токенов на английском
- Один токен ≈ 4 символа на английском, 3 символа на русском
Русский текст «дороже» в токенах, чем английский — это нужно учитывать при работе с платными API.
Почему ChatGPT иногда путает счёт
Отсюда растут корни некоторых странных ошибок AI. Классический пример: «Сколько букв R в слове "strawberry"?». Многие модели ошибались и отвечали «2» вместо «3».
Причина: модель не «читает» буквы одну за другой. Она видит токены — «st», «raw», «berry». Попытка посчитать конкретные буквы требует «спуститься» на уровень ниже токенов, что для модели нетривиально.
Это ограничение, о котором полезно знать: нейросети плохо считают конкретные символы и буквы. Не потому что «глупые» — а потому что работают с токенами, а не с символами.
Контекстное окно: почему разговор «забывается»
Контекстное окно (context window) — это максимальное количество токенов, которое модель может «удерживать» за один раз. Всё, что влезает в контекстное окно — модель видит и помнит. Всё что не влезает — не видит.
Примеры контекстных окон у разных моделей:
- GPT-3.5: 16K токенов
- GPT-4o: 128K токенов
- Claude 3.5 Sonnet: 200K токенов
- Gemini 1.5 Pro: 1M токенов (миллион!)
128K токенов — это примерно 100-150 страниц текста. Этого хватает для большинства задач.
Если вы ведёте очень длинный разговор с ChatGPT и чувствуете что модель «забыла» что было в начале — скорее всего контекст переполнился. Старые сообщения вытесняются новыми.
Инфо
Модели с большим контекстным окном не обязательно лучше. Большой контекст — это дороже и медленнее. Для большинства задач 8K-32K токенов более чем достаточно.
Токены и деньги: как это работает в платных API
API (Application Programming Interface) — это способ подключиться к нейросети из своей программы или сервиса. Когда разработчики создают приложения на базе ChatGPT — они платят по токенам.
Цены примерные (меняются):
- GPT-4o: $0.003 за 1000 входящих токенов, $0.010 за 1000 исходящих
- Claude Sonnet: $0.003/$0.015 за 1000 токенов
- Gemini Flash: $0.000075 за 1000 токенов (в 40 раз дешевле!)
Для обычных пользователей с подпиской ChatGPT Plus ($20/мес) — токены не считаются явно. Есть мягкие лимиты на сообщения в час, но не счётчик токенов.
Токены важны если:
- Вы используете API напрямую (разработчики)
- Создаёте AI-приложения через такие сервисы как Dify, n8n
- Хотите понять почему ваш запрос к API дорого стоит
Как сэкономить токены (практические советы)
Используйте более дешёвые модели для простых задач. Исправить грамматику в коротком тексте — не нужен GPT-4. Gemini Flash или GPT-3.5 справятся в 40 раз дешевле.
Не дублируйте контекст. Если отправляете один и тот же системный промпт при каждом запросе — каждый раз платите за эти токены. Сократите промпт.
Разбивайте большие задачи. Если нужно обработать длинный документ — режьте на части и обрабатывайте последовательно, а не всё сразу.
Чистите контекст при смене темы. В интерфейсах типа ChatGPT — начинайте новый чат при переходе к новой задаче. Иначе накопленный контекст расходует лимиты.
Токены vs символы vs слова: шпаргалка
Для ориентировки:
| Единица | Примерный размер |
|---|---|
| 1 токен (английский) | ~4 символа |
| 1 токен (русский) | ~3 символа |
| 1 токен (код) | ~3-4 символа |
| 100 токенов | ~75 английских слов |
| 100 токенов | ~55 русских слов |
| 1000 токенов | ~750 слов (EN) / ~550 слов (RU) |
| 1M токенов | ~750K слов ≈ 10 романов |
Итог
Токены — это просто единица измерения текста для нейросетей. Примерно 4 символа на английском, 3 на русском. Модель видит текст через эту призму.
Что из этого практически важно:
- Русский текст дороже в токенах, чем английский
- Длинные разговоры могут «переполнить» контекст — модель забудет начало
- Если пользуетесь API — считайте токены, они влияют на стоимость
Для обычного пользователя с подпиской ChatGPT или Claude — можно об этом особо не думать. Но понимание механики помогает объяснить странное поведение AI и правильно с ним работать.
Следующий шаг — почитайте как написать промпт, который работает. Там про то, как правильно ставить задачу нейросети.
