AI Foundations
Tokens и pricing
Неофициальный перевод раздела Cursor Learn. Мы переводим английский оригинал и чуть расширяем объяснения — это не материал от Cursor Inc.
На высоком уровне модель — это probabilistic API. Чтобы понимать и как она думает, и сколько это стоит, нужен ещё один кирпич: tokens.
Token — это «слова», которыми модель реально оперирует. Но это не всегда слова в человеческом смысле.
Компьютер не понимает букву «А» напрямую — он работает с битами. Модель тоже не ест сырой текст «hello world» как два слова. Она дробит всё на куски — tokens. «hello» часто один token, а «understanding» может разбиться на несколько (under / stand / ing). Иногда отдельным token становится кусок слова, пробел или знак препинания.
Зачем тебе это знать:
- Pricing идёт за tokens, не за слова и не за символы
- Скорость модели часто меряют в TPS — tokens per second
Как устроены tokens
Если модель ≈ API, то tokens — единица измерения inbound/outbound трафика.
Есть два типа:
- Input tokens — всё, что ты отправил: prompt, история чата, приложенные файлы в контексте
- Output tokens — всё, что модель сгенерировала в ответ
Output обычно дороже input в 2–4 раза: генерировать новый текст вычислительно тяжелее, чем «прочитать» вход.
Отсюда практический вывод: управляй объёмом контекста так же осознанно, как server costs. Не пихай в каждый запрос всю историю мира. И явно проси модель быть concise, когда тебе нужен короткий ответ — иначе она с радостью нагенерит дорогой output.
Streaming responses
Замечал, как ChatGPT «печатает» ответ по словам? Это не только UI-эффект.
Модель генерирует tokens по одному, последовательно. Предсказала следующий token → использует его, чтобы предсказать следующий, и так далее. Поэтому ответ появляется token by token.
Streaming удобен по двум причинам:
- Не ждёшь минутами полный ответ — читаешь по ходу
- Можешь прервать, если модель уехала не туда
В Cursor и похожих тулах interrupt — нормальная часть workflow, а не «стыдно нажать стоп».
Как экономить tokens без потери качества
AI-тулы часто сами режут расход: кешируют повторяющиеся куски prompt’а, помогают чистить context, саммаризируют длинные треды.
Твоя зона ответственности:
- Не дублируй одни и те же огромные файлы в каждом сообщении, если тул уже умеет тянуть их сам
- Для простых вопросов бери быструю/дешёвую модель
- Для длинных agent-сессий следи за ростом контекста — tool results тоже едят tokens
Дальше — главный рычаг качества и стоимости: context.