Local AI Toolkit

Как понимать оценку токенов

English version

Полезный вопрос: сколько контекста нужно облачному агенту именно для этого запроса? Это не размер всех файлов, открытых локально. Инструмент может исследовать большой файл ради трёх строк; сравнение с чтением полного файла завысило бы экономию.

Пример расчёта

В сравнении текстового runtime S — явно указанный необходимый контекст источника, ещё не прочитанный в облаке, V — полный видимый ответ инструмента, R — запрос к нему. Консервативная формула: S - V - 2R. Агент генерирует запрос, который затем становится частью контекста. Генерация локального ответа автоматически не засчитывается как генерация, которую иначе обязательно выполнило бы облако.

Учебные исходные данные Токены
Необходимый контекст источника, S 4 000
Полный возвращённый ответ, V 600
Запрос, R 100
Условная оценка экономии 3 200

Это пример, а не benchmark или обещание. Интерактивный сайт позволяет менять числа без отправки данных. Указанный вызывающим контекст задачи — явное допущение, а не доказательство того, что контекст минимально возможный.

Как читать сообщение

Сообщение Значение
Сэкономлено примерно N облачных токенов Положительная условная оценка по записанному сценарию
Экономии нет; дополнительно примерно N облачных токенов Запрос и ответ дороже указанной альтернативы
Оценить нельзя Недостаточно данных о необходимом контексте, происхождении, пересечениях или размере ответа
Неприменимо Административная операция, а не делегирование модели

AlreadyPresent исключает экономию на уже прочитанном источнике. Unknown нужен, если агент не может установить, что уже было в контексте. Само указание пути не даёт права засчитать файл: требуется явное основание сравнения с контекстом задачи. Одна поисковая выдача не доказывает, сколько пришлось бы читать облачному агенту.

Для пользовательского вопроса к логу основание сравнения с контекстом задачи остаётся неизвестным (log_question_context_unknown), при этом переданный sourceContext сохраняется. Полный разбор лога по умолчанию сохраняет основание сравнения по всему источнику.

Практический порядок

  1. Поручайте первое чтение новой ограниченной задачи локально; передавайте пути вместо содержимого.
  2. Просите краткий результат с координатами доказательств.
  3. Проверяйте точные фрагменты исходника там, где это нужно для важного решения или безопасного изменения.
  4. Пропускайте повторное локальное чтение, если источник уже в облачном контексте, а оставшаяся работа не покрывает накладные расходы запроса и ответа.

Это не счётчик оплаченных токенов, лимитов подписки, денег или энергии. Старые отчёты с другой методикой нельзя смешивать с этим сравнением. Проверяйте установленную версию runtime, сопоставляя отчёт с документацией текущего исходного кода.