AI Pumpy
Нейронки5 мин

Что такое токен

Коротко и понятно: за что ты платишь и почему у модели заканчивается память.

Токен — это кусок текста, которым модель мыслит. Не буква и не слово, а что-то между.

Простая аналогия

Модель не читает текст как ты. Она режет его на куски и работает с ними. В русском языке один токен — это примерно 2–3 символа: короткое слово целиком, длинное — по частям.

«Привет» — один токен. «Автоматизация» — три-четыре. Пробелы и знаки препинания тоже считаются.

Грубая прикидка: страница текста ≈ 500 токенов, час расшифровки созвона ≈ 10 000.

Зачем тебе это знать

Ты платишь за токены. Не за запросы, не за минуты. За объём текста, который ушёл в модель и вернулся из неё. Вставил договор на 40 страниц — заплатил за 20 000 токенов, даже если спросил одно предложение.

У модели ограничено окно. Это максимум токенов, который она держит в памяти одновременно: весь диалог, все вставленные файлы, её собственные ответы. У современных моделей окно большое, но не бесконечное.

Чем полнее окно, тем хуже ответы. Это неочевидно, но важно. Модель с забитым контекстом хуже держит фокус: начинает игнорировать ранние инструкции и повторяться.

Важно

Поэтому «модель поглупела к вечеру» — это почти всегда не модель, а твой чат на 200 сообщений.

Что с этим делать

Начинай новый чат под каждую задачу. Вставляй не весь документ, а нужный раздел. Когда диалог разросся — попроси собрать итог в короткий бриф и продолжай с ним в новом чате.

Три привычки, которые экономят и деньги, и качество.

Материал уедет в буфер чистым markdown — вставляй в Claude или GPT.

Читать дальше