С облачным агентом: на что теперь не тратятся токены
На этой странице
- Оценка контекста одной операции
- Это работает по умолчанию, и Вы это видите
- Если что-то работает не так, как Вам нужно
Оценка контекста одной операции
После вызова локальной модели основное уведомление оценивает полный вход операции минус контекст, возвращённый облачному агенту. Во вход входят наблюдавшийся исходный материал и инструкции запроса. В выход — полный видимый ответ, его обрамление и строка уведомления. Обе части считаются одним именованным профилем облачного токенизатора; счётчики prompt/eval локального backend остаются отдельной диагностикой.
Это условное сравнение учитывает переданный материал во входе и при sourceContext=AlreadyPresent или Unknown. Сам признак сохраняет правдивое диагностическое значение. Оценка не служит основанием для повторных ненужных локальных вызовов. Повторные попытки и перекрывающиеся фрагменты не дают двойной экономии. Отрицательная и нулевая разность допустимы.
Схема usage 2 добавляет contextEstimate: inputTokens, returnedTokens, savedTokens, методику и профили токенизатора/изображений. Исторические записи схемы 1 и исходные сравнения cloudTokens сохраняют свой смысл. Описанные ниже исходные поля сравнения остаются диагностикой; после вызова модели основное уведомление предпочитает новую оценку.
Поля CLI JSON savedTokensEstimate и netContextTokensSavedEstimate у перевода используют ту же разность, включая отрицательные значения. При недоступной оценке или выходе за прежний 32-битный диапазон они равны null; полный результат сохраняется в отчёте usage. Конечный JSON и уведомление учитываются вместе до отправки, а прогресс продолжает выводиться сразу.
Пока доставка не установлена, считается условная стоимость подготовленного видимого ответа. Если доставка не состоялась или не предпринималась, возвращённый объём и разность остаются неизвестными. Отсутствующий или конфликтующий исходный материал и неподдержанный учёт изображений также остаются явными неизвестными, а не выдуманными нулями. Служебные вызовы и загрузка модели без задачи не получают такую оценку. Численная разность не подтверждает правильность ответа модели и не является фактическим расходом у облачного провайдера.
Дело не только в объёме. Вопрос, который человек задаёт словами, редко ложится на ключевое слово — а именно ключевым словом агент и вынужден искать, когда индекса нет.
Проверено на этом репозитории 2026-09-06. Вопрос «кто подписан на завершение задания брокера»:
- Греп по слову
Subscribeнаходит вsrcодин файл, и это не ответ. search_codeвозвращаетIBrokerQueue.CompleteAsyncиBrokerJobPending— в них слова «подписка» нет вообще. Совпало по смыслу.
| Вопрос | Без Local AI: на что уходят токены | С Local AI: на что уходят токены |
|---|---|---|
| «Кто подписан на завершение задания?» | найти нужные объявления и достаточный окружающий контекст; необходимый объём зависит от вопроса | три фрагмента с путями и номерами строк |
| «Как устроен конвейер обработки заказа?» | изучить относящиеся к конвейеру определения и связи | фрагменты по каждому звену, сразу с местами |
| «Что вообще делает этот код?» | изучить характерные точки входа и документацию | найти их по индексу и запросить ограниченный обзор |
Разница не в том, что агент читает быстрее. В том, что в его контекст попадают только найденные фрагменты, а перебор кандидатов оплачивается видеокартой, а не подпиской.
Это работает по умолчанию, и Вы это видите
Ничего включать не надо. Установщик прописывает агенту, что локальные инструменты есть и
что за ними идут первыми. Дальше агент сам решает: увидел вопрос «где это живёт» — пошёл в
search_code, а не открывать файлы.
Отчёт runtime использует одну общую запись на вызов. Положительное число — условная оценка относительно необходимого контекста запроса, а не суммы размеров локально прочитанных файлов. При недостатке доказательств оценка неизвестна. Отрицательное сравнение показывается как количество дополнительных токенов, без отрицательного счётчика экономии. Административным операциям оценка неприменима. Это не расход аккаунта и не счёт. См. как понимать оценку токенов: допущения, пример и различия версий runtime.
localai sync сообщает каждый этап индексации и повторяет текущий статус каждые 15 секунд.
Если объём известен, видны выполнено/всего и процент текущего этапа; для эмбеддингов — также
скорость и оценка остатка. Если объём неизвестен, видны действие и прошедшее время без
выдуманного процента. localai repo status --follow использует те же названия этапов.
Общий метод раздельно сравнивает входные и выходные облачные токены. Для него нужны явный
сценарий альтернативного чтения, сведения о том, передавался ли исходный материал в облако,
полный возвращаемый ответ и указанный профиль токенизатора или обработки изображений.
Ранее прочитанный текст и пересекающиеся фрагменты не учитываются дважды. При недостатке
данных возвращается unknown с причиной; неизвестный профиль изображения не заменяется
универсальной формулой площади.
Существующие числовые поля ответов сохраняют структуру JSON. Новые записи попыток брокера
используют схему 2: идентификаторы попытки и рабочего процесса, фактические счётчики backend,
если они доступны, и подтверждение размещения той загрузки, на которой шла попытка. Размещение
модели в отчёте о вызове берётся из подтверждения её собственной попытки, а если у попытки его
нет — из подтверждения в квитанции задания для той же модели и того же контекста. Без них оно
unknown с причиной: no_residency_check для задания, в квитанции которого нет
маршрутизации, например эмбеддингов, и not_recorded в остальных случаях. Подтверждение другой модели или
другого контекста не используется никогда. Попытка не доказывает доставку или экономию облачных токенов:
новое поле содержит unknown, а прежние числовые поля экономии — нули. Старые записи
читаются, но их неподтверждённые оценки не включаются в итоги. Итоговый отчёт хранится
отдельно, один раз на вызов, и учитывает полный объём ответа. Несколько заданий одного
вызова не умножают его экономию. Несовместимые профили сравнения не суммируются.
localai prune применяет срок хранения телеметрии к попыткам и итоговым отчётам.
Результаты MCP содержат версионированные данные в _meta["localai/usage"]. Текстовые инструменты
помещают сообщение вне границ untrusted-content; JSON-инструменты сохраняют содержимое
без изменений первым блоком и добавляют сообщение после него отдельным текстовым блоком,
а тот же текст — в _meta["localai/usageNotice"]. Отмена сохраняет семантику протокола.
Перед запуском отменяемого вызова передайте уникальный GUID в _meta["localai/callId"]
запроса; частичный отчёт можно получить командой localai telemetry --call-id <guid>.
CLI сохраняет прежний формат текста или JSON в stdout; краткий отчёт выводится в stderr.
Протокол установщика localai model версии 1 не допускает дополнительных записей в stderr,
кроме причины, по которой команда завершилась с broker_failure, поэтому его отчёты только
сохраняются. Каталог отчётов — %LOCALAPPDATA%\LocalAi\telemetry\usage.
В них хранятся технические измерения и идентификаторы, без запросов к модели и содержимого
документов. Ошибка сохранения отчёта не меняет результат команды; о ней сообщается отдельно,
если это допускает протокол.
Размер ответа учитывает весь сериализованный результат MCP, включая сообщение и метаданные,
либо весь текст stdout/stderr CLI в UTF-8. Обрамление JSON-RPC в этот объём не входит.
Расчёт MCP учитывает размер самого отчёта и ограничен числом итераций; при отсутствии
сходимости размер остаётся неизвестным. Доставка означает завершённую запись файла или
передачу результата выходному интерфейсу, без подтверждения от удалённого клиента.
Отсутствующие измерения остаются неизвестными; частичный отчёт отражает данные, доступные
на момент отмены. Попадание index_memory_cache относится к данным индекса в памяти
и не означает, что вызова модели не было.
Синтетический корпус для калибровки содержит
эталонные количества токенов и результаты сравнения,
полученные с помощью tiktoken 0.12.0 для cl100k_base и o200k_base. Он охватывает EN/RU,
код, смешанный текст, пустой ввод, длинный ответ, source/path/outPath, предыдущее и повторное
чтение, PNG и двухстраничный PDF. Статистика ошибок относится к этому корпусу и двум кодировкам.
Она не подтверждает универсальную точность для других токенизаторов и не является данными
об использовании токенов от облачного провайдера. Длинный образец повторяет короткие примеры
для проверки объёма ответа, а не для расширения независимой языковой выборки.
Для изображений используется опубликованная формула плиток gpt-4o; результаты помечены как
оценки по формуле. Для PDF сохранено количество текстовых токенов, но полный вход остаётся
неизвестным: способ рендеринга страниц у провайдера не наблюдался. Неподдерживаемые профили
зрения по-прежнему дают неизвестное значение. Оценки по символам не имеют статистического
интервала; прежние числовые границы оценщика поиска явно помечены как
heuristic_not_confidence_interval в дополнительном версионированном поле
responseTokenEstimatePolicy. Калибровка не заменяет сценарий сравнения, сведения об исходных
данных, подтверждение доставки и учёт полного ответа.
Для воспроизведения эталонов установите tiktoken==0.12.0 и выполните
python tools/calibrate-tokens.py --verify. При первом запуске tiktoken может загрузить
таблицы кодировки; скрипт не вызывает ни модель, ни API провайдера. Режим --write
заново создаёт синтетические файлы и эталонный JSON. Обычный набор тестов .NET проверяет
сохранённые измерения, расчёты сценариев и отсутствие содержимого документов в отчётах
без Python, подключения к сети и GPU.
Если что-то работает не так, как Вам нужно
Ничего не зашито намертво — настройки лежат в %LOCALAPPDATA%\LocalAi\settings:
| Что поменять | Как |
|---|---|
| Модель для конкретного рода задач | model-routing.json — своя цепочка моделей на каждый профиль: CodeAnalysis, LogTriage, VisualAnalysis, PlainTranslation и ещё десяток |
| Модель на один вызов | localai ask "…" <file> --model <модель> или --profile <профиль> |
| Судьба модели после обкатки | local_model_feedback: продвинуть, оставить только запасной или отключить для этой задачи |
| Куда помещать модель | localai policy set --residency — целиком в видеопамять, с выгрузкой или на процессор |
| Сколько держать модель загруженной | localai policy set --idle-model-keep-alive-seconds |
| Отключить инструменты у клиента | снять регистрацию MCP-серверов у Claude или Codex — тогда агент их просто не увидит |
Чтобы выбрать модели для каждого рода задач, скопируйте полный
model-routing.json из корня репозитория в
%LOCALAPPDATA%\LocalAi\settings\model-routing.json. Измените Candidates и
Fallbacks в нужной записи Routes; добавляемую модель опишите в Models.
Этот файл заменяет каталог целиком. Сохраните SchemaVersion равным 1,
непустой CatalogVersion и по одному маршруту для каждого профиля задач.
Без этого файла Local AI читает встроенный каталог. Некорректный файл вызывает
ошибку; настройки по умолчанию вместо него не подставляются. Команда
localai doctor проверяет файл и показывает вычисленную версию: custom- и хеш
содержимого. Изменение форматирования не меняет эту версию. Остальные политики
можно посмотреть командой localai policy show.
Повторные попытки перевода используют упорядоченный список Fallbacks для
PlainTranslation или TechnicalTranslation из одного снимка каталога. Каждый
фрагмент передаёт версию этого снимка; брокер с другим каталогом отклоняет запрос
до загрузки или запуска модели. Примените сохранённый каталог описанным ниже
способом, затем повторите перевод.
Чтобы применить сохранённый каталог, дождитесь завершения текущих локальных
вызовов и выполните localai doctor. Если проверка model-catalog прошла,
выполните localai-launcher.exe stop. Команда остановит брокер и все работающие
инструменты Local AI активной установленной версии, включая её MCP-серверы.
Подключите MCP-серверы заново в клиенте или при необходимости перезапустите клиент.
Следующая локальная задача запустит брокер с сохранённым каталогом.
Об ограничениях прямо — и о том, кто их закрывает. Локальные модели заметно слабее облачных. Они хороши в «перечисли», «обобщи», «где это лежит» — и ненадёжны в архитектуре и тонких ошибках.
Но в связке с агентом это не оставлено на удачу: находит локальная модель, а судит облачная. Локальный ответ приходит агенту не как истина, а как материал — с путями и номерами строк, по которым он открывает исходник и проверяет сам. Ошибка локальной модели стоит одного лишнего чтения, а не неверного вывода.
Продукт этому помогает: каждый ответ подписан моделью и временем работы, а при недостатке видеопамяти получает пометку — ослабленный ответ нельзя принять за полноценный.
В консоли этого второго слоя нет: там судите Вы. Поэтому всё, на чём держится решение, проверяйте по коду.
← Поиск по коду — не текстовый поиск · Оглавление · Из консоли: не про токены, а про время →