Local AI Toolkit

Собрать и проверить

Оглавление · English version

dotnet test LocalAi.slnx --configuration Release --max-parallel-test-modules 1 --timeout 20m

Для проверки перед pull request используйте команду выше. Во время разработки быстрее запускать отдельный тестовый проект: dotnet test tests/<name>/<name>.csproj --configuration Release.

Тест никогда не проверяет, насколько быстра машина: ждать надо наступления условия, а не истечения срока — срок, в который может не уложиться корректный прогон, ничего не доказывает, а в отчёте выглядит как поломка проверяемого кода.


Независимые корпуса для проверки качества

Скрипт для разработчиков scripts/quality/run.ps1 создаёт отдельные Git-репозитории C#, TypeScript, Python и смешанный репозиторий. Запросы и эталонные ответы хранятся вне индексируемых деревьев. Всего предусмотрено 70 поисковых проверок: 12/12/12/34. Смешанный корпус повторяет вопросы отдельных языковых корпусов, поэтому это не 70 независимых вопросов.

Запускайте из корня репозитория в Windows. Нужны PowerShell 7.4+, Git с настроенным автором коммитов, .NET 10 SDK и работающий брокер Local AI. Настроенная модель эмбеддингов и выбранная модель OCR должны быть установлены и соответствовать политике размещения в памяти. Для каждого запуска нужен каталог вывода вне репозитория — пустой или ещё не существующий. При сравнении длительностей исключите одновременную работу других заданий брокера.

dotnet build LocalAi.slnx --configuration Release
pwsh -NoProfile -File .\scripts\quality\test-runner.ps1

$qualityOutput = Join-Path (Split-Path -Parent (Get-Location).Path) ("LocalAi-quality-" + [Guid]::NewGuid().ToString("N"))

pwsh -NoProfile -File .\scripts\quality\run.ps1 `
  -OutputRoot $qualityOutput `
  -Mode All `
  -LocalAi .\src\LocalAi.Cli\bin\Release\net10.0\localai.exe `
  -CodeSearch .\src\CodeSearch.Cli\bin\Release\net10.0\codesearch.exe `
  -OcrModel glm-ocr:bf16

Режимы Search и Ocr запускают отдельные наборы проверок. Prepare создаёт поисковые репозитории без вызовов моделей и не требует исполняемых файлов. Для каждого режима нужен каталог вывода вне репозитория — пустой или ещё не существующий. В нём сохраняются результаты, исходные ответы и сведения о запуске.

Четыре эталона OCR содержат короткий и длинный текст EN/RU, в том числе повторяющиеся строки. Повторы сохраняются при оценке. Отдельно рассчитываются доли ошибок символов и слов (CER/WER), число непустых строк, полнота распознавания размеченных названий полей и точность их значений. Техническое завершение CLI и полная длительность отделены от точности распознавания; время очереди и выполнения, а также сведения об усечении сохраняются в исходных ответах, если доступны. Недоступные показатели остаются неизвестными. Метрики полей не оценивают общее понимание смысла.

Сохранённый baseline от 2026-09-16 получен с qwen3-embedding:8b-q8_0: Roslyn/SCIP отработали успешно, результатов вне исходных деревьев нет.

Корпус Запросы с ответом / без ответа Recall@10 Precision@5 Ложные срабатывания на запросах без ответа
C#, TypeScript, Python (каждый) 10 / 2 100% 20% 1/2
Смешанный 30 / 4 96.67% (29/30) 19.33% 2/4

При одной размеченной цели потолок Precision@5 составляет 20%. Небольшие синтетические корпуса не дают репрезентативной оценки качества продукта. Порог поиска остаётся 0.43.

Все четыре проверки OCR прошли проверку технического завершения CLI; в ответах указано truncated=false. Запрошена модель glm-ocr:bf16, но во всех сохранённых ответах фактическая модель — qwen3-vl:8b-instruct-q8_0. Причина различия этим измерением не установлена.

Проверка CER WER Точность значений полей Сохранённые непустые строки
Короткий EN 0% 0% 100% 2/2
Короткий RU 0% 0% 100% 2/2
Длинный EN 0% 0% 100% 40/40
Длинный RU 2.2176% 10.4918% 57.14% (4/7) 40/40

Сравнение кодовых точек длинного результата RU выявило 32 замены в обозначениях зон: латинские A/B/C заменены кириллическими А/В/С в 10/11/11 позициях соответственно.

Исходники скрипта соответствуют коммиту 40cf87a8ee0f1e631f74f1b9c93783bab71a5b0a. Использовалась установленная сборка брокера 17385b2a6070; хеши исполняемых файлов CLI сохранены отдельно. Длительности описывают полное выполнение команд. Во время прогона выполнялась проверка списка моделей; дополнительная генеративная задача не запускалась. Исходные массивы метаданных вызовов OCR сохранены; notes.json описывает их форму до исправления скрипта запуска. Оценки не изменены.


← Пакеты документации · Оглавление · Лицензия →