Тег bonsai-2:27b · рассуждение medium · окно 102.4K · начало 2026-10-21 11:02
Агент-кандидат работает в изолированном pi на временной копии скелета задания; проверяющие ярусы подключаются после выполнения и каждый работает на своей копии решения.
PI_CODING_AGENT_DIR=<tmp>/pi-home PI_OFFLINE=1 \
pi -p --session-dir <прогон>/pi-session \
--model bonsai-2:27b --thinking medium \
"Прочитай TASK.md в корне репозитория и выполни задание."PI_CODING_AGENT_DIR — временный pi-home: models.json собран на лету под одну модель; адрес сервера — env OLLAMA_BASE_URL (в git не попадает).PI_OFFLINE=1 — служебный режим pi: он сам не ходит в сеть (проверка версии, каталог моделей, телеметрия). Командам агента сеть при этом доступна.skeleton/: каркас-эталон не загрязняется прогоном; .env раннер кладёт из .env.example, чтобы Symfony был рабочим с первой секунды. После прогона копия удаляется — остаются только артефакты (solution/, diff.patch, сессия).TASK.md, sha256 a9998d7fc38418eb — одинакова во всех прогонах.Скелет skeleton/ — рабочий Symfony-каркас (PHP >=8.4, Doctrine, bcmath) с TASK.md и AGENTS.md. Инструменты самопроверки в require-dev: phpunit/phpunit ^11.5, squizlabs/php_codesniffer ^3.13, vimeo/psalm ^6.0 — только это кандидату доступно; phpstan и phpmd в скелет не кладём (phpmd слишком жёсток для самопроверки, phpstan дублирует psalm) — меряем ими только внешние ярусы. Само задание — TASK.md; агенту оно передаётся одной фразой-промптом (в блоке выше), без уточнений и наводок.
Артефакты: run.json
Ход работы агента-кандидата: рост контекста по вызовам API, автокомпакты, чем самопроверялся.
Обращения агента к инструментам pi: чтение файлов, правки, запись, шелл.
bash1895%read15%Запуски программ внутри 18 вызовов инструмента bash: один вызов — обычно цепочка команд через ; / && / |, считаются первые слова каждого сегмента.
ls1219%head1219%php813%echo610%cat610%docker35%pg_isready35%git23%«Остальное» — вызовы утилит вне топ-8: psql, find, rm, tail, md5sum, grep, stat, which, ss.
Наложены периоды работы tool-вызовов — прямоугольник от вызова до результата, ширина = длительность, цвет = инструмент: ■ bash, ■ read.
Контекст — полный промпт вызова (вход + кэш-чтение + кэш-запись). Резкое падение линии — автокомпакт или правка истории. ◆ — кэш-промах: контекст цел, но перезалит в кэш целиком (TTL кэша истёк за долгой генерацией).
Сколько раз за прогон агент сам проверял свою работу, по инструментам. Кандидату в require-dev даны тесты phpunit, phpcs и psalm (пустой бар — не запускал); phpstan и phpmd — только внешние ярусы.
Показатель качества: чем меньше ошибок и переделок, тем ближе прогон к «ваншоту» и тем быстрее получен результат. Перекликается с показателем галлюцинаций из интервью.
Вызовов печатной отладки (var_dump / dump / dd) в финальном коде: 0. Уникальных файлов создано или отредактировано: 0.
Артефакты: pi-session · pi-run.log · diff.patch
Наблюдение за поведением агента: детектор помечает обращение к сети и пути вне рабочего каталога прогона. Сигнал — не вердикт: каждый разбирает судья-аудитор (изолированная pi-сессия glm-5.3-flash, checker/judge_audit.py). Полный список сигналов — security.json, построчный разбор — audit-verdict.md рядом с отчётом.
| тип | объект | команда |
|---|---|---|
| вне cwd | /vendor/ | find /tmp/billing-pi-rx3gujbv/repo -maxdepth 3 -type f -not -path '*/vendor/*' -not -path '*/.git/*' | head -6 |
| вне cwd | /home/dp/ | cat /home/dp/.npm-global/lib/node_modules/@earendil-works/pi-coding-agent/docs/environment-variables.md 2>/dev |
| вне cwd | /var/run/docker | which docker psql postgres pg_isready php; docker compose version 2>&1 | head -2; ls /var/run/docker.sock 2>&1 |
Отвечает «сделано и работает по контракту», но не «хорошо сделано»: каждый сценарий запускает решение и сверяет результат с эталоном — счётчики импорта, дедупликация, отчёт байт-в-байт. Качество кода чекер не оценивает. Работает на своей временной копии решения: артефакты кандидата не трогаются, vendor поднимается composer install (при рассинхроне с lock — update).
| Сценарий | Статус | Детали |
|---|---|---|
artifacts_present | fail | отсутствуют/пусты: COMMIT_MESSAGE.md, PR_DESCRIPTION.md |
db_create | pass | Created database "chk_11862" for connection named default |
import_duplicates | fail | fixtures/usage-duplicates.jsonl'". Message: "There are no commands defined in the "app:usage" namespace." There are no commands defined in the "app:usage" namespace. |
migrate | pass | method=schema_update |
prices_import | fail | illing/fixtures/prices.json'". Message: "There are no commands defined in the "app:prices" namespace." There are no commands defined in the "app:prices" namespace. |
rate_after_duplicates | fail | stdout: '' |
rate_counts | fail | в stdout нет 'RATED= |
report_base | fail | код 1: o='2026-10-01T00:00:00Z'". Message: "There are no commands defined in the "app:billing" namespace." There are no commands defined in the "app:billing" namespace. |
report_duplicates | fail | код 1: o='2026-10-01T00:00:00Z'". Message: "There are no commands defined in the "app:billing" namespace." There are no commands defined in the "app:billing" namespace. |
report_retro | skip | команды app:billing:reprice нет (бонус не выполнялся) |
reprice_output | skip | команды app:billing:reprice нет (бонус не выполнялся) |
skeleton_changes | pass | нет изменений |
unrated_stderr | fail | ожидались ['UNRATED prism/h13 2026-07-31T23:00:00Z no_price'], получено [] |
usage_import | fail | lling/fixtures/usage-base.jsonl'". Message: "There are no commands defined in the "app:usage" namespace." There are no commands defined in the "app:usage" namespace. |
Артефакты: check.json
Насколько хорошо написан код: предупреждения статанализа (phpstan, psalm, phpcs) и структурные метрики (сложность, связность). Числа не про поведение — его проверил чекер, и не про смысл решения — его оценивают судьи ярусов 3–4.
| phpcs PSR12 | 0 | среднее других прогонов модели: 3 |
| psalm L1 | 0 | среднее других прогонов модели: 33 |
| phpstan L8 | 0 | среднее других прогонов модели: 14 |
| phpmd (наблюдение) | 0 | среднее других прогонов модели: 13 |
Синяя полоса — этот прогон; красная риска — среднее того же показателя по другим прогонам этой же модели (меньше — лучше). phpmd — наблюдение: в оценку решений не входит. Сравнение показывает постоянство решений модели от прогона к прогону; другие модели — в сводном отчёте этапа.
| файлов | 1 | среднее: 4 |
| строк кода | 27 | среднее: 232 |
| комментариев | 0 | среднее: 66 |
| пустых строк | 6 | среднее: 63 |
| суммарная сложность | 1 | среднее: 11 |
Синяя полоса — этот прогон; красная риска — среднее других прогонов модели. Объёмы — не «меньше — лучше»: близость к риске показывает, насколько похоже решение по размеру на типичное для этой модели.
Каждая точка — один класс решения. Горизонталь — LOC, строк кода. Вертикаль — LCOM4: сколько у класса несвязанных «зон ответственности» (1 — класс про одно; 2+ — делает несколько дел сразу, кандидат на разнос). Размер точки — WMC: суммарная сложность всех методов класса. Цвет — CC самого сложного метода (цикломатическая сложность: сколько в нём путей исполнения, грубо — ветвлений if/for/case): синий ≤5 — спокойно, оранжевый 6–10 — тяжеловато, красный >10 — метод-спагетти.
Размер точки — WMC класса, цвет — максимальная CC метода: ● ≤5, ● 6–10, ● >10. Наведите на точку — полная сводка.
Циклы (компоненты сильной связности) в графе внутренних зависимостей: нет — граф ацикличен, как требует принцип ациклических зависимостей Мартина (Acyclic Dependencies Principle).
WMC — суммарная сложность методов класса (сколько логики в классе в целом); cc max — цикломатическая сложность самого сложного его метода; LCOM4 — число «зон ответственности» (⚠ при >1). Имя файла — ссылка на код в git (работает после коммита артефактов).
| Класс | LOC | методов | WMC | cc max | LCOM4 |
|---|---|---|---|---|---|
| Kernel | 23 | 3 | 5 | 3 | 1 |
| Метод | CC | LOC |
|---|---|---|
| нет | ||
Полные данные — metrics-raw/collector.json.
Отчёт по метрикам качества кода: metrics.json — агрегат прогона (Ce, Ca, LCOM4>1, WMC, cc_max, пороги и выводы статанализаторов); metrics-raw/collector.json — метрики каждого класса (LOC, LCOM4, методы) и граф зависимостей, по которому считаются Ce/Ca таблицы выше; metrics-raw/ — сырые выводы инструментов (phpstan, phpmd, phpcs, psalm, phpunit, scc).