Собрать и проверить
dotnet test LocalAi.slnx --configuration Release --max-parallel-test-modules 1 --timeout 20m
Для проверки перед pull request используйте команду выше. Во время разработки быстрее
запускать отдельный тестовый проект:
dotnet test tests/<name>/<name>.csproj --configuration Release.
Тест никогда не проверяет, насколько быстра машина: ждать надо наступления условия, а не истечения срока — срок, в который может не уложиться корректный прогон, ничего не доказывает, а в отчёте выглядит как поломка проверяемого кода.
Независимые корпуса для проверки качества
Скрипт для разработчиков scripts/quality/run.ps1 создаёт отдельные Git-репозитории C#,
TypeScript, Python и смешанный репозиторий. Запросы и эталонные ответы хранятся вне
индексируемых деревьев. Всего предусмотрено 70 поисковых проверок: 12/12/12/34. Смешанный
корпус повторяет вопросы отдельных языковых корпусов, поэтому это не 70 независимых вопросов.
Запускайте из корня репозитория в Windows. Нужны PowerShell 7.4+, Git с настроенным автором коммитов, .NET 10 SDK и работающий брокер Local AI. Настроенная модель эмбеддингов и выбранная модель OCR должны быть установлены и соответствовать политике размещения в памяти. Для каждого запуска нужен каталог вывода вне репозитория — пустой или ещё не существующий. При сравнении длительностей исключите одновременную работу других заданий брокера.
dotnet build LocalAi.slnx --configuration Release
pwsh -NoProfile -File .\scripts\quality\test-runner.ps1
$qualityOutput = Join-Path (Split-Path -Parent (Get-Location).Path) ("LocalAi-quality-" + [Guid]::NewGuid().ToString("N"))
pwsh -NoProfile -File .\scripts\quality\run.ps1 `
-OutputRoot $qualityOutput `
-Mode All `
-LocalAi .\src\LocalAi.Cli\bin\Release\net10.0\localai.exe `
-CodeSearch .\src\CodeSearch.Cli\bin\Release\net10.0\codesearch.exe `
-OcrModel glm-ocr:bf16
Режимы Search и Ocr запускают отдельные наборы проверок. Prepare создаёт поисковые
репозитории без вызовов моделей и не требует исполняемых файлов. Для каждого режима нужен
каталог вывода вне репозитория — пустой или ещё не существующий. В нём сохраняются результаты, исходные ответы и сведения о запуске.
Четыре эталона OCR содержат короткий и длинный текст EN/RU, в том числе повторяющиеся строки. Повторы сохраняются при оценке. Отдельно рассчитываются доли ошибок символов и слов (CER/WER), число непустых строк, полнота распознавания размеченных названий полей и точность их значений. Техническое завершение CLI и полная длительность отделены от точности распознавания; время очереди и выполнения, а также сведения об усечении сохраняются в исходных ответах, если доступны. Недоступные показатели остаются неизвестными. Метрики полей не оценивают общее понимание смысла.
Сохранённый baseline от 2026-09-16
получен с qwen3-embedding:8b-q8_0: Roslyn/SCIP отработали успешно, результатов вне исходных деревьев нет.
| Корпус | Запросы с ответом / без ответа | Recall@10 | Precision@5 | Ложные срабатывания на запросах без ответа |
|---|---|---|---|---|
| C#, TypeScript, Python (каждый) | 10 / 2 | 100% | 20% | 1/2 |
| Смешанный | 30 / 4 | 96.67% (29/30) | 19.33% | 2/4 |
При одной размеченной цели потолок Precision@5 составляет 20%. Небольшие синтетические
корпуса не дают репрезентативной оценки качества продукта. Порог поиска остаётся 0.43.
Все четыре проверки OCR прошли проверку технического завершения CLI; в ответах указано
truncated=false. Запрошена модель glm-ocr:bf16, но во всех сохранённых ответах фактическая
модель — qwen3-vl:8b-instruct-q8_0. Причина различия этим измерением не установлена.
| Проверка | CER | WER | Точность значений полей | Сохранённые непустые строки |
|---|---|---|---|---|
| Короткий EN | 0% | 0% | 100% | 2/2 |
| Короткий RU | 0% | 0% | 100% | 2/2 |
| Длинный EN | 0% | 0% | 100% | 40/40 |
| Длинный RU | 2.2176% | 10.4918% | 57.14% (4/7) | 40/40 |
Сравнение кодовых точек длинного результата RU выявило 32 замены в обозначениях зон:
латинские A/B/C заменены кириллическими А/В/С в 10/11/11 позициях соответственно.
Исходники скрипта соответствуют коммиту 40cf87a8ee0f1e631f74f1b9c93783bab71a5b0a.
Использовалась установленная сборка брокера 17385b2a6070; хеши исполняемых файлов CLI
сохранены отдельно. Длительности описывают полное выполнение команд. Во время прогона
выполнялась проверка списка моделей; дополнительная генеративная задача не запускалась.
Исходные массивы метаданных вызовов OCR сохранены; notes.json описывает их форму до
исправления скрипта запуска. Оценки не изменены.
← Пакеты документации · Оглавление · Лицензия →