bonsai-2-27b · run-08

Тег bonsai-2:27b · рассуждение none · окно 102.4K · начало 2026-10-27 17:11

Прогон и окружение

Агент-кандидат работает в изолированном pi на временной копии скелета задания; проверяющие ярусы подключаются после выполнения и каждый работает на своей копии решения.

0 из 11обязательные сценарии

0 из 2бонусные сценарии

1 из 4код и архитектура

1 из 4процесс и коммуникация

2 из 4слепое ревью

3 миндлительность прогона

1.2Mтокенов, кэш 94%

1091строк

30файлов в решении (без vendor)

Как запускался агент

PI_CODING_AGENT_DIR=<tmp>/pi-home PI_OFFLINE=1 \
pi -p --session-dir <прогон>/pi-session \
    --model bonsai-2:27b --thinking off \
    "Прочитай TASK.md в корне репозитория и выполни задание."

PI_CODING_AGENT_DIR — временный pi-home: models.json собран на лету под одну модель; адрес сервера — env OLLAMA_BASE_URL (в git не попадает).
PI_OFFLINE=1 — служебный режим pi: он сам не ходит в сеть (проверка версии, каталог моделей, телеметрия). Командам агента сеть при этом доступна.
агент работает в одноразовой копии skeleton/: каркас-эталон не загрязняется прогоном; .env раннер кладёт из .env.example, чтобы Symfony был рабочим с первой секунды. После прогона копия удаляется — остаются только артефакты (solution/, diff.patch, сессия).
версия задания — TASK.md, sha256 a9998d7fc38418eb — одинакова во всех прогонах.
лимиты: таймаут 90 мин на весь прогон; ответ модели в одном вызове — не больше 32 768 токенов, считая размышление (поднято со стандартных 8192: длинное размышление иначе съедает бюджет ещё до ответа).

Что дано кандидату

Скелет skeleton/ — рабочий Symfony-каркас (PHP >=8.4, Doctrine, bcmath) с TASK.md и AGENTS.md. Инструменты самопроверки в require-dev: phpunit/phpunit ^11.5, squizlabs/php_codesniffer ^3.13, vimeo/psalm ^6.0 — только это кандидату доступно; phpstan и phpmd в скелет не кладём (phpmd слишком жёсток для самопроверки, phpstan дублирует psalm) — меряем ими только внешние ярусы. Само задание — TASK.md; агенту оно передаётся одной фразой-промптом (в блоке выше), без уточнений и наводок.

Артефакты: run.json

Выполнение · сессия pi

Ход работы агента-кандидата: рост контекста по вызовам API, автокомпакты, чем самопроверялся.

55вызовов API

1.2Mтокенов всего (вход 50.2K, выход 17.6K, кэш-чтение 1.1M — 94%)

32.8Kпик контекста из 102.4K

4автокомпактов и правок истории (компактов 0, правок 4)

50tool-вызовов (33 bash)

3 минчистой генерации

Структура папок решения

Дерево по diff.patch: папки, в которых агент создавал или менял файлы (число — затронуто файлов в поддереве, «новых» — создано с нуля). Папка — ссылка, можно открыть.

solution/ — 9

src/ — 9

Billing/ — 4

Math/ — 2

Repository/ — 1

Entity/ — 5

Tool-вызовы по инструментам

Обращения агента к инструментам pi: чтение файлов, правки, запись, шелл.

bash3366%

write1428%

read36%

Утилиты в bash

Запуски программ внутри 33 вызовов инструмента bash: один вызов — обычно цепочка команд через ; / && / |, считаются первые слова каждого сегмента.

php2744%

head915%

cat711%

ls610%

docker35%

console23%

tail23%

grep23%

остальное35%

«Остальное» — вызовы утилит вне топ-8: make, wc, echo.

Наложены периоды работы tool-вызовов — прямоугольник от вызова до результата, ширина = длительность, цвет = инструмент: ■ bash, ■ write, ■ read.

Контекст — полный промпт вызова (вход + кэш-чтение + кэш-запись). Резкое падение линии — автокомпакт или правка истории. ◆ — кэш-промах: контекст цел, но перезалит в кэш целиком (TTL кэша истёк за долгой генерацией).

Самопроверка моделью

Сколько раз за прогон агент сам проверял свою работу, по инструментам. Кандидату в require-dev даны тесты phpunit, phpcs и psalm (пустой бар — не запускал); phpstan и phpmd — только внешние ярусы.

сборка (composer)

проверки БД (psql)

тесты (phpunit / make test)

стиль (phpcs / phpcbf)

psalm

Косяки и переделки

55%команд bash прошли с первого раза (без ошибок в выводе)

15вызовов завершились ошибкой (Fatal error, SQLSTATE, not found…)

15раз после ошибки агент правил и перезапускал команду

0 из 0падений тестов доведены до прохода (агент правил код, тесты потом прошли)

Показатель качества: чем меньше ошибок и переделок, тем ближе прогон к «ваншоту» и тем быстрее получен результат. Перекликается с показателем галлюцинаций из интервью.

Вызовов печатной отладки (var_dump / dump / dd) в финальном коде: 0. Уникальных файлов создано или отредактировано: 9.

Артефакты: pi-session · pi-run.log · diff.patch · session-profile.md · summary.md

Аудит безопасности

Наблюдение за поведением агента: детектор помечает обращение к сети и пути вне рабочего каталога прогона. Сигнал — не вердикт: каждый разбирает судья-аудитор (изолированная pi-сессия glm-5.3-flash, checker/judge_audit.py). Полный список сигналов — security.json, построчный разбор — audit-verdict.md рядом с отчётом.

Сеть не использовалась, за пределы рабочего каталога агент не выходил.

Вердикт аудитора: чисто — сигналов нет — аудитор не вызывался

Артефакты: security.json · audit-verdict.md · audit.json

Ярус 1 · чекер: обязательных 0 из 11, бонусных 0 из 2

Отвечает «сделано и работает по контракту», но не «хорошо сделано»: каждый сценарий запускает решение и сверяет результат с эталоном — счётчики импорта, дедупликация, отчёт байт-в-байт. Качество кода чекер не оценивает. Работает на своей временной копии решения: артефакты кандидата не трогаются, vendor поднимается composer install (при рассинхроне с lock — update).

Сценарий	Статус	Детали
`artifacts_present`	fail	отсутствуют/пусты: COMMIT_MESSAGE.md, PR_DESCRIPTION.md
`db_create`	fail	nsoleApplicationRunner.php(49): Symfony\Component\Console\Application->run() #19 /tmp/billing-check-1wd9dya4/repo/vendor/autoload_runtime.php(32): Symfony\Component\Runtime\Runner\Symfony\ConsoleApplicationRunner->run() #20 /tmp/billing-check-1wd9dya4/repo/bin/console(11): require('...') #21 {main}
`import_duplicates`	fail	не выполнялся: предыдущий шаг провален
`migrate`	fail	не выполнялся: предыдущий шаг провален
`prices_import`	fail	не выполнялся: предыдущий шаг провален
`rate_after_duplicates`	fail	не выполнялся: предыдущий шаг провален
`rate_counts`	fail	не выполнялся: предыдущий шаг провален
`report_base`	fail	не выполнялся: предыдущий шаг провален
`report_duplicates`	fail	не выполнялся: предыдущий шаг провален
`skeleton_changes`	pass	нет изменений
`unrated_stderr`	fail	не выполнялся: предыдущий шаг провален
`usage_import`	fail	не выполнялся: предыдущий шаг провален

Артефакты: check.json

Ярус 2 · метрики кода

Насколько хорошо написан код: предупреждения статанализа (phpstan, psalm, phpcs) и структурные метрики (сложность, связность). Числа не про поведение — его проверил чекер, и не про смысл решения — его оценивают судьи ярусов 3–4.

phpcs PSR12	5	среднее других прогонов модели: 3
psalm L1	139	среднее других прогонов модели: 13
phpstan L8	1	среднее других прогонов модели: 14
phpmd (наблюдение)	38	среднее других прогонов модели: 7

Синяя полоса — этот прогон; красная риска — среднее того же показателя по другим прогонам этой же модели (меньше — лучше). phpmd — наблюдение: в оценку решений не входит. Сравнение показывает постоянство решений модели от прогона к прогону; другие модели — в сводном отчёте этапа.

Код в цифрах и нарушения в деталях

scc — объём кода

688строк кода

186строк комментариев — 27% от строк кода

10файлов

файлов	10	среднее: 3
строк кода	688	среднее: 138
комментариев	186	среднее: 39
пустых строк	214	среднее: 33
суммарная сложность	36	среднее: 6

Синяя полоса — этот прогон; красная риска — среднее других прогонов модели. Объёмы — не «меньше — лучше»: близость к риске показывает, насколько похоже решение по размеру на типичное для этой модели.

phpcs (стиль, PSR-12) — топ сообщений

раз	сообщение
1×	Line exceeds 120 characters; contains 128 characters
1×	Line exceeds 120 characters; contains 129 characters
1×	Line exceeds 120 characters; contains 133 characters
1×	Line exceeds 120 characters; contains 134 characters
1×	[x] Header blocks must not contain blank lines

psalm (уровень 1) — топ типов проблем

раз	тип	пример
28×	`MixedAssignment`	src/Billing/Math/PricingEngine.php:47
28×	`MixedMethodCall`	src/Billing/Math/PricingEngine.php:54
16×	`UndefinedMethod`	src/Billing/Math/PricingEngine.php:36
16×	`MixedArgument`	src/Billing/Math/PricingEngine.php:67
16×	`MissingConstructor`	src/Entity/Price.php:33
12×	`ArgumentTypeCoercion`	src/Billing/Math/MoneyMath.php:18
10×	`UndefinedClass`	src/Billing/PricesImporter.php:35
3×	`MixedArrayAccess`	src/Billing/PricesImporter.php:46

phpstan — топ сообщений

раз	сообщение	пример
1×	Cannot use App\Billing\Exception\ImportException as ImportException because the name is already in use on line 22 [ident	src/Billing/PricesImporter.php:22

phpmd — правила (наблюдение, в оценку не входит)

раз	правило
22×	`ShortVariable`
12×	`StaticAccess`
2×	`UnusedPrivateField`
1×	`ElseExpression`
1×	`TooManyFields`

Классы: размер и связность

Каждая точка — один класс решения. Горизонталь — LOC, строк кода. Вертикаль — LCOM4: сколько у класса несвязанных «зон ответственности» (1 — класс про одно; 2+ — делает несколько дел сразу, кандидат на разнос). Размер точки — WMC: суммарная сложность всех методов класса. Цвет — CC самого сложного метода (цикломатическая сложность: сколько в нём путей исполнения, грубо — ветвлений if/for/case): синий ≤5 — спокойно, оранжевый 6–10 — тяжеловато, красный >10 — метод-спагетти.

collector.json пуст — график недоступен

Циклические зависимости

Циклы (компоненты сильной связности) в графе внутренних зависимостей: нет — граф ацикличен, как требует принцип ациклических зависимостей Мартина (Acyclic Dependencies Principle).

Классы по WMC (топ-10)

WMC — суммарная сложность методов класса (сколько логики в классе в целом); cc max — цикломатическая сложность самого сложного его метода; LCOM4 — число «зон ответственности» (⚠ при >1). Имя файла — ссылка на код в git (работает после коммита артефактов).

Класс	LOC	методов	WMC	cc max	LCOM4

Методы-нарушители порогов (cc > 10 или LOC > 50)

Метод	CC	LOC
нет

Полные данные — metrics-raw/collector.json.

Отчёт по метрикам качества кода: metrics.json — агрегат прогона (Ce, Ca, LCOM4>1, WMC, cc_max, пороги и выводы статанализаторов); metrics-raw/collector.json — метрики каждого класса (LOC, LCOM4, методы) и граф зависимостей, по которому считаются C_e/C_a таблицы выше; metrics-raw/ — сырые выводы инструментов (phpstan, phpmd, phpcs, psalm, phpunit, scc).

Ярус 3 · ревью: изолированная pi-сессия glm-5.3-flash

Модельная проверка решения: отдельная pi-сессия (zai/glm-5.3-flash, thinking low) оценивает по рубрике обе оси. На вход — TASK.md, дифф (первые 2600 строк) и блок ФАКТЫ: детерминированные итоги ярусов 1–2.

1 из 4ось A «код и архитектура»

1 из 4ось B «процесс и коммуникация»

20 счистое время ревью

20.7Kтокенов (вход 14.1K, $0.0027)

Вход ревьюера: блок ФАКТЫ

Чекер: обязательных 0/11, бонус 0/2
  fail db_create: nsoleApplicationRunner.php(49): Symfony\Component\Console\Application->run()
#19 /tmp/billing-check-1wd9dya4/repo/vendor
  fail import_duplicates: не выполнялся: предыдущий шаг провален
  fail migrate: не выполнялся: предыдущий шаг провален
  fail prices_import: не выполнялся: предыдущий шаг провален
  fail rate_after_duplicates: не выполнялся: предыдущий шаг провален
  fail rate_counts: не выполнялся: предыдущий шаг провален
  fail report_base: не выполнялся: предыдущий шаг провален
  fail report_duplicates: не выполнялся: предыдущий шаг провален
  fail unrated_stderr: не выполнялся: предыдущий шаг провален
  fail usage_import: не выполнялся: предыдущий шаг провален
  fail artifacts_present: отсутствуют/пусты: COMMIT_MESSAGE.md, PR_DESCRIPTION.md
Метрики: phpcs 5, psalm 139, phpstan 1, loc 688
AST: cc_max None, lcom4>1: None, превышения порогов None

Обоснование

ревьюер яруса 3

Решение фактически нерабочее: чекер падает на первом же шаге (db_create — crash в Application->run), все последующие проверки не выполнены. Код полон галлюцинированных API: PricesImporter вызывает $this->em(), которого нет (конструктор принимает RepositoryFactory), несуществующий класс Symfony\Component\VarExporter\Attribute\VarExporter\Exported в UsageEvent, невалидная доктриновская разметка (index=true в @ORM\Column, UniqueConstraint с позиционным списком полей и именем — не сигнатура Doctrine), мёртвый ProviderRepository без методов, дублирующийся use ImportException. Ещё до запуска аннотации-комментарии в PHP 8.4 без doctrine/annotations, скорее всего, не работают. Домен на поверхности: время и valid_from хранятся как строки (сравнение строк для UTC ISO случайно работает), фильтрация цен не учитывает модель — в priceEvent $pricesByProviderCode ключуется только по провайдеру (строка '$prices = $pricesByProviderCode[$event->getProviderCode()]'), т.е. цены разных моделей одного провайдера смешиваются — реальный дефект тарификации. Плюс бонуса нет. Ось B: COMMIT_MESSAGE.md и PR_DESCRIPTION.md отсутствуют (fail artifacts_present), psalm 139 ошибок, phpstan 1, самопроверка по приёмке не выполнялась — след хаотичный.

Артефакты: review-zcode.md · tier3.json

Ярус 4 · судья: слепое второе мнение

Та же модель судьи (zai/glm-5.3-flash, thinking low), но вслепую: только TASK.md и дифф, без фактов чекера и метрик. Зачем: ревьюер яруса 3 видит числа прохождений и может опереться на них сильнее, чем они того стоят (или довериться плохой метрике) — слепой судьи ловит это смещение. Расхождение осей A в пределах ±1 — согласие; больше — слепая зона, смотреть вручную.

2 из 4ось A «код и архитектура», вслепую

-1расхождение осей A: ярус 3 − ярус 4

12 счистое время судьи

20.0Kтокенов (вход 13.9K, $0.0025)

заметка судьи

Домен смоделирован сущностями, деньги на bcmath с масштабом 16, окно через полночь и идемпотентность уникальным ключом учтены. Но качество кода слабое: время и valid_from хранятся строками и сравниваются как строки, выбор цены в PricingEngine фильтрует только по провайдеру, а не по модели (риск неверной тарификации при нескольких моделях), код захламлён — мёртвые импорты, дублирующиеся use, аннотации ORM на сеттерах, несуществующий атрибут VarExporter, несогласованность modelCode (то код модели, то provider/model). Тестов в диффе нет, уверенность в edge-cases ограниченная.

Цитаты-доказательства из диффа:

final class MoneyMath { public const SCALE = 16; ... bcround($value, 6, 1)
// Окно через полночь: [16:30, 00:30) return $hourMinute >= $start || $hourMinute < $end;
uniqueConstraints=[ new ORM\UniqueConstraint(['provider_code', 'provider_request_id'], 'uq_event_key') ]
$prices = $pricesByProviderCode[$event->getProviderCode()] ?? []; // выбор цены без фильтра по модели

Артефакты: judge-glm.md · tier4.json

Отчёт идёт по шагам прогона: подготовка окружения → выполнение → аудит → ярусы 1–4. Показатели собраны из артефактов: run.json, diff.patch, check.json, metrics.json, metrics-raw/collector.json, pi-session/*.jsonl (парсер — analyze_session.py), security.json, audit.json, tier3.json, tier4.json. Генератор: test-assignment/backend/billing/build_run_report.py.