Local AI Toolkit

Как это устроено

Оглавление · English version

На этой странице

Local AI — это несколько небольших программ вокруг двух вещей, которые хранятся у Вас на диске: одной очереди работы для локальных моделей и одного индекса кода на каждый репозиторий. Ниже видно, как запрос проходит через них.

Из чего состоит

flowchart LR
    agent["Облачный агент<br/>Claude Code, Codex"]
    you["Вы, в терминале"]
    launcher["localai-launcher.exe"]
    mcp["codesearch-mcp<br/>locallm-mcp"]
    cli["localai<br/>codesearch"]
    queue[("Очередь заданий")]
    broker["LocalAi.Broker"]
    ollama["Ollama<br/>127.0.0.1:11434"]
    index[("Индекс кода<br/>по одному на репозиторий")]

    agent -->|MCP| launcher
    you --> launcher
    launcher --> mcp
    launcher --> cli
    mcp -->|"запрос, затем ожидание"| queue
    cli -->|"запрос, затем ожидание"| queue
    queue --> broker
    broker --> ollama
    mcp -->|чтение| index
    cli -->|"чтение, сборка"| index

Одна очередь перед всеми моделями

Любое обращение к модели идёт через одну и ту же очередь: поисковый запрос, эмбеддинги при сборке индекса, вопрос к ask_local. Поэтому Claude, Codex и командная строка пользуются моделями одновременно и не загружают их поверх друг друга.

У каждого запроса есть приоритет. Поисковый запрос — Interactive, вопрос к локальной модели — Foreground, эмбеддинги сборки индекса — Background. Следующее задание брокер выбирает сначала по приоритету, затем по тому, загружена ли его модель в видеопамять, затем по ожидаемой длительности — более короткое раньше:

Два одинаковых запроса, пока первый ещё в очереди или выполняется, становятся одним заданием.

По умолчанию модель должна целиком помещаться в видеопамять, и модель, которая не помещается, получает отказ, а не работает медленно. localai policy set --residency ослабляет это правило, и ответ, полученный при ослабленном правиле, называет нехватку рядом с именем модели.

Индекс кода

Его собирает localai sync — запускаете ли его Вы, хук Git или агент через index_refresh — в таком порядке:

flowchart TD
    plan["Planning<br/>коммит основной ветки и что изменилось"]
    semantic["SemanticBase<br/>определения и ссылки:<br/>Roslyn для C#, scip-typescript, scip-python"]
    embed["EmbeddingBase<br/>нарезка на фрагменты, эмбеддинги через брокер"]
    publish["PublishingGeneration<br/>base.cidx и semantic.sidx"]
    overlay["SemanticOverlay, EmbeddingOverlay<br/>для каждого worktree: чем он отличается от базы"]
    switch["Publishing<br/>current.json переходит на новое поколение"]
    plan --> semantic --> embed --> publish --> overlay --> switch

На диске индекс лежит в %LOCALAPPDATA%\LocalAi\repositories\<id>. Идентификатор берётся из общего каталога Git репозитория, поэтому он общий для всех его worktree и всех клиентов.

Путь Что там
current.json какое поколение сейчас действует
generations\<generation>\ base.cidx, semantic.sidx и manifest.json с их контрольными суммами
overlays\<generation>\<worktree>\<tree>\ по overlay на каждое состояние worktree; clean, если незакоммиченного нет
staging\ сборка, которая идёт сейчас, и контрольная точка, с которой она продолжится

Поиск по шагам

sequenceDiagram
    participant A as Облачный агент
    participant S as codesearch-mcp
    participant B as Брокер
    participant O as Ollama
    A->>S: search_code("кто повторяет упавшую загрузку")
    S->>S: загрузить базу и overlay этого worktree
    S->>B: вектор запроса (Interactive)
    B->>O: та модель эмбеддингов, которой собран индекс
    O-->>S: вектор запроса
    S->>S: ранжировать по смыслу, по имени, слить два ранжирования
    S-->>A: результаты: path:lines, имя, фрагмент, chunk_id

Какая модель что делает

Маршруты лежат в model-routing.json; сначала пробуются основные модели, затем резервные.

Профиль Кто пользуется Основные Резервные
VectorEmbedding индекс и поисковые запросы qwen3-embedding:8b-q8_0 qwen3-embedding:8b-q8_0
ShortSummary ask_local по умолчанию qwen3.5:9b, qwen2.5-coder:14b qwen2.5-coder:14b, qwen3.5:9b
Extraction ask_local qwen3.5:9b, qwen2.5-coder:14b qwen2.5-coder:14b, qwen3.5:9b
Classification ask_local qwen2.5-coder:14b, qwen3.5:9b qwen3.5:9b, qwen2.5-coder:14b
CodeAnalysis, CodeReview ask_local gpt-oss:20b, qwen2.5-coder:14b qwen3.5:9b
MultiFileSynthesis, Planning ask_local gpt-oss:20b, qwen3.5:9b, qwen2.5-coder:14b qwen3.5:9b, qwen2.5-coder:14b
LogTriage triage_log qwen2.5-coder:14b qwen3.5:9b
VisualAnalysis read_image qwen3-vl:8b-instruct-q8_0 qwen3.5:9b
Ocr read_image qwen3-vl:8b-instruct-q8_0, glm-ocr:bf16 qwen3-vl:8b-instruct-q8_0, qwen3.5:9b
ImageTranslation read_image qwen3-vl:8b-instruct-q8_0 translategemma:12b, qwen3.5:9b
PlainTranslation translate_local, обычный текст translategemma:12b qwen3.5:9b
TechnicalTranslation translate_local, markdown translategemma:12b qwen2.5-coder:14b, qwen3.5:9b

Как считается экономия

Сравнивается необходимый контекст запроса, а не полные файлы-кандидаты. Для зачёта контекста файлов runtime требует явного основания сравнения с входом задачи; одна поисковая выдача этого основания не устанавливает. Уже прочитанный материал исключается, а отсутствие доказательств даёт неизвестную оценку.

В явном текстовом сценарии необходимый новый контекст S, полный видимый ответ V и запрос R дают консервативное сравнение S - V - 2R. Локальная генерация автоматически не засчитывается как сэкономленная облачная генерация. Указанный контекст — допущение вызывающего, а не доказательство минимально возможного облачного входа.

sourceContext: AlreadyPresent исключает зачёт источника; Unknown не притворяется, что источник ещё не читали. Пропускайте повторный локальный вызов, если оставшаяся польза не покрывает накладные расходы. См. как понимать оценку токенов, включая примеры и ограничения прежних версий runtime. Это оценка, а не счётчик оплаченных токенов.

Что делает установщик

flowchart LR
    release["Проверить релиз<br/>подписанный манифест, хеш пакета"]
    prerequisites["Отмеченные Вами зависимости<br/>winget, npm"]
    package["Пакет<br/>новая версия, затем переключение"]
    models["Выбранные Вами модели<br/>скачиваются через брокер"]
    settings["Настройки<br/>правило видеопамяти, проверка обновлений"]
    clients["Выбранные Вами клиенты<br/>серверы MCP, инструкции, навык"]
    release --> prerequisites --> package --> models --> settings --> clients

← Из консоли: не про токены, а про время · Оглавление · Зависимости →