Тег muse-glimmer:ctx100k · рассуждение low · окно 102.4K · начало 2026-10-27 15:55
Агент-кандидат работает в изолированном pi на временной копии скелета задания; проверяющие ярусы подключаются после выполнения и каждый работает на своей копии решения.
PI_CODING_AGENT_DIR=<tmp>/pi-home PI_OFFLINE=1 \
pi -p --session-dir <прогон>/pi-session \
--model muse-glimmer:ctx100k --thinking low \
"Прочитай TASK.md в корне репозитория и выполни задание."PI_CODING_AGENT_DIR — временный pi-home: models.json собран на лету под одну модель; адрес сервера — env OLLAMA_BASE_URL (в git не попадает).PI_OFFLINE=1 — служебный режим pi: он сам не ходит в сеть (проверка версии, каталог моделей, телеметрия). Командам агента сеть при этом доступна.skeleton/: каркас-эталон не загрязняется прогоном; .env раннер кладёт из .env.example, чтобы Symfony был рабочим с первой секунды. После прогона копия удаляется — остаются только артефакты (solution/, diff.patch, сессия).TASK.md, sha256 a9998d7fc38418eb — одинакова во всех прогонах.Скелет skeleton/ — рабочий Symfony-каркас (PHP >=8.4, Doctrine, bcmath) с TASK.md и AGENTS.md. Инструменты самопроверки в require-dev: phpunit/phpunit ^11.5, squizlabs/php_codesniffer ^3.13, vimeo/psalm ^6.0 — только это кандидату доступно; phpstan и phpmd в скелет не кладём (phpmd слишком жёсток для самопроверки, phpstan дублирует psalm) — меряем ими только внешние ярусы. Само задание — TASK.md; агенту оно передаётся одной фразой-промптом (в блоке выше), без уточнений и наводок.
Артефакты: run.json
Ход работы агента-кандидата: рост контекста по вызовам API, автокомпакты, чем самопроверялся.
Дерево по diff.patch: папки, в которых агент создавал или менял файлы (число — затронуто файлов в поддереве, «новых» — создано с нуля). Папка — ссылка, можно открыть.
Обращения агента к инструментам pi: чтение файлов, правки, запись, шелл.
bash2056%write1028%read514%edit13%Запуски программ внутри 20 вызовов инструмента bash: один вызов — обычно цепочка команд через ; / && / |, считаются первые слова каждого сегмента.
console941%docker732%find29%make29%ls15%mkdir15%Наложены периоды работы tool-вызовов — прямоугольник от вызова до результата, ширина = длительность, цвет = инструмент: ■ bash, ■ write, ■ read, ■ edit.
Контекст — полный промпт вызова (вход + кэш-чтение + кэш-запись). Резкое падение линии — автокомпакт или правка истории. ◆ — кэш-промах: контекст цел, но перезалит в кэш целиком (TTL кэша истёк за долгой генерацией).
Сколько раз за прогон агент сам проверял свою работу, по инструментам. Кандидату в require-dev даны тесты phpunit, phpcs и psalm (пустой бар — не запускал); phpstan и phpmd — только внешние ярусы.
Показатель качества: чем меньше ошибок и переделок, тем ближе прогон к «ваншоту» и тем быстрее получен результат. Перекликается с показателем галлюцинаций из интервью.
Вызовов печатной отладки (var_dump / dump / dd) в финальном коде: 0. Уникальных файлов создано или отредактировано: 10.
Артефакты: pi-session · pi-run.log · diff.patch · session-profile.md · summary.md
Наблюдение за поведением агента: детектор помечает обращение к сети и пути вне рабочего каталога прогона. Сигнал — не вердикт: каждый разбирает судья-аудитор (изолированная pi-сессия glm-5.3-flash, checker/judge_audit.py). Полный список сигналов — security.json, построчный разбор — audit-verdict.md рядом с отчётом.
Сеть не использовалась, за пределы рабочего каталога агент не выходил.
Вердикт аудитора: чисто — сигналов нет — аудитор не вызывался
Артефакты: security.json · audit-verdict.md · audit.json
Отвечает «сделано и работает по контракту», но не «хорошо сделано»: каждый сценарий запускает решение и сверяет результат с эталоном — счётчики импорта, дедупликация, отчёт байт-в-байт. Качество кода чекер не оценивает. Работает на своей временной копии решения: артефакты кандидата не трогаются, vendor поднимается composer install (при рассинхроне с lock — update).
| Сценарий | Статус | Детали |
|---|---|---|
artifacts_present | pass | |
db_create | pass | Created database "chk_20098" for connection named default |
import_duplicates | pass | |
migrate | pass | method=schema_update |
prices_import | pass | |
rate_after_duplicates | pass | stdout: 'RATED=1 UNRATED=1' |
rate_counts | pass | получено RATED=17 UNRATED=1, ожидалось 17/1 |
report_base | pass | |
report_duplicates | pass | |
report_retro | skip | команды app:billing:reprice нет (бонус не выполнялся) |
reprice_output | skip | команды app:billing:reprice нет (бонус не выполнялся) |
skeleton_changes | pass | нет изменений |
unrated_stderr | fail | ожидались ['UNRATED prism/h13 2026-07-31T23:00:00Z no_price'], получено ['UNRATED prism/h13 2026-07-31T23:00:00+00:00 no_price'] |
usage_import | pass |
Артефакты: check.json
Насколько хорошо написан код: предупреждения статанализа (phpstan, psalm, phpcs) и структурные метрики (сложность, связность). Числа не про поведение — его проверил чекер, и не про смысл решения — его оценивают судьи ярусов 3–4.
| phpcs PSR12 | 652 | среднее других прогонов модели: 116 |
| psalm L1 | 176 | среднее других прогонов модели: 149 |
| phpstan L8 | 19 | среднее других прогонов модели: 21 |
| phpmd (наблюдение) | 46 | среднее других прогонов модели: 34 |
Синяя полоса — этот прогон; красная риска — среднее того же показателя по другим прогонам этой же модели (меньше — лучше). phpmd — наблюдение: в оценку решений не входит. Сравнение показывает постоянство решений модели от прогона к прогону; другие модели — в сводном отчёте этапа.
| файлов | 9 | среднее: 9 |
| строк кода | 430 | среднее: 575 |
| комментариев | 55 | среднее: 60 |
| пустых строк | 64 | среднее: 111 |
| суммарная сложность | 26 | среднее: 34 |
Синяя полоса — этот прогон; красная риска — среднее других прогонов модели. Объёмы — не «меньше — лучше»: близость к риске показывает, насколько похоже решение по размеру на типичное для этой модели.
| раз | сообщение |
|---|---|
| 111× | [x] Expected at least 1 space before "="; 0 found |
| 111× | [x] Expected at least 1 space after "="; 0 found |
| 66× | [x] No space found after comma in argument list |
| 64× | [x] Closing brace must be on a line by itself |
| 58× | [x] Opening brace should be on a new line |
| 55× | [x] Opening brace must be the last content on the line |
| раз | тип | пример |
|---|---|---|
| 42× | MixedArgument | src/Command/BillingRateCommand.php:24 |
| 42× | MixedArrayAccess | src/Command/BillingReportCommand.php:67 |
| 25× | MixedAssignment | src/Command/BillingRateCommand.php:20 |
| 16× | MixedMethodCall | src/Command/BillingRateCommand.php:27 |
| 10× | PropertyNotSetInConstructor | src/Entity/Price.php:26 |
| 9× | MixedOperand | src/Command/BillingReportCommand.php:42 |
| 8× | ParamNameMismatch | src/Command/BillingRateCommand.php:17 |
| 8× | ArgumentTypeCoercion | src/Command/BillingRateCommand.php:68 |
| раз | сообщение | пример |
|---|---|---|
| 6× | Parameter #2 $num2 of function bcmul expects numeric-string, string given. [identifier=argument.type] | src/Command/BillingRateCommand.php:105 |
| 3× | Call to an undefined method Symfony\Component\Console\Output\OutputInterface::getErrorOutput(). [identifier=method.notFo | src/Command/UsageImportCommand.php:20 |
| 2× | Parameter #1 $num1 of function bcmul expects numeric-string, string given. [identifier=argument.type] | src/Command/BillingRateCommand.php:111 |
| 1× | Parameter #2 $exponent of function bcpow expects numeric-string, int given. [identifier=argument.type] | src/Command/BillingRateCommand.php:110 |
| 1× | Parameter #1 $json of function json_decode expects string, string|false given. [identifier=argument.type] | src/Command/PricesImportCommand.php:23 |
| 1× | Property App\Entity\Model::$id (int|null) is never assigned int so it can be removed from the property type. [identifier | src/Entity/Model.php:14 |
| раз | правило |
|---|---|
| 34× | ShortVariable |
| 5× | MissingImport |
| 3× | ElseExpression |
| 3× | UnusedPrivateField |
| 1× | UnusedFormalParameter |
Каждая точка — один класс решения. Горизонталь — LOC, строк кода. Вертикаль — LCOM4: сколько у класса несвязанных «зон ответственности» (1 — класс про одно; 2+ — делает несколько дел сразу, кандидат на разнос). Размер точки — WMC: суммарная сложность всех методов класса. Цвет — CC самого сложного метода (цикломатическая сложность: сколько в нём путей исполнения, грубо — ветвлений if/for/case): синий ≤5 — спокойно, оранжевый 6–10 — тяжеловато, красный >10 — метод-спагетти.
Размер точки — WMC класса, цвет — максимальная CC метода: ● ≤5, ● 6–10, ● >10. Наведите на точку — полная сводка.
Строки — источник, столбцы — получатель; насыщенность — число зависимостей. Классы отсортированы по неймспейсам: слои подписаны на диагонали, жирные линии их разделяют; жёлтый столбец «внеш.» — исходящие связи к типам вне решения (DTO времени, коллекции). Наведите на закрашенную ячейку — кто на кого и сколько раз.
Ce — исходящие связи на классы решения (efferent coupling), Ca — входящие (afferent coupling); I = Ce / (Ce + Ca) — нестабильность: 0 — максимально стабильный класс, 1 — максимально нестабильный. Здоровая слоистость выглядит так: I близка к 1 у console-команд (точки входа, обязаны меняться часто) и к 0 у примитивов домена (Decimal, Timestamp, enum-статусы): нестабильное должно зависеть от стабильного, не наоборот. Классы без внутренних связей не показаны.
| Класс | Ce | Ca | I (0…1) |
|---|---|---|---|
| BillingRateCommand | 3 | 0 | 1.00 |
| BillingReportCommand | 1 | 0 | 1.00 |
| PricesImportCommand | 3 | 0 | 1.00 |
| UsageImportCommand | 1 | 0 | 1.00 |
| Model | 0 | 1 | 0.00 |
| Price | 0 | 2 | 0.00 |
| Provider | 0 | 2 | 0.00 |
| UsageEvent | 0 | 3 | 0.00 |
Циклы (компоненты сильной связности) в графе внутренних зависимостей: нет — граф ацикличен, как требует принцип ациклических зависимостей Мартина (Acyclic Dependencies Principle).
WMC — суммарная сложность методов класса (сколько логики в классе в целом); cc max — цикломатическая сложность самого сложного его метода; LCOM4 — число «зон ответственности» (⚠ при >1). Имя файла — ссылка на код в git (работает после коммита артефактов).
| Класс | LOC | методов | WMC | cc max | LCOM4 |
|---|---|---|---|---|---|
| UsageEvent | 69 | 21 | 21 | 1 | ⚠ 11 |
| BillingRateCommand | 107 | 8 | 18 | 6 | ⚠ 6 |
| Price | 64 | 18 | 18 | 1 | ⚠ 10 |
| PricesImportCommand | 53 | 3 | 12 | 10 | ⚠ 2 |
| Provider | 32 | 10 | 10 | 1 | ⚠ 5 |
| BillingReportCommand | 65 | 3 | 9 | 7 | ⚠ 2 |
| UsageImportCommand | 35 | 3 | 9 | 7 | ⚠ 2 |
| Kernel | 23 | 3 | 5 | 3 | 1 |
| Model | 24 | 3 | 3 | 1 | ⚠ 2 |
| Метод | CC | LOC |
|---|---|---|
BillingReportCommand::execute | 7 | 55 |
Полные данные — metrics-raw/collector.json.
Отчёт по метрикам качества кода: metrics.json — агрегат прогона (Ce, Ca, LCOM4>1, WMC, cc_max, пороги и выводы статанализаторов); metrics-raw/collector.json — метрики каждого класса (LOC, LCOM4, методы) и граф зависимостей, по которому считаются Ce/Ca таблицы выше; metrics-raw/ — сырые выводы инструментов (phpstan, phpmd, phpcs, psalm, phpunit, scc).
Модельная проверка решения: отдельная pi-сессия (zai/glm-5.3-flash, thinking low) оценивает по рубрике обе оси. На вход — TASK.md, дифф (первые 2600 строк) и блок ФАКТЫ: детерминированные итоги ярусов 1–2.
Чекер: обязательных 10/11, бонус 0/2
fail unrated_stderr: ожидались ['UNRATED prism/h13 2026-07-31T23:00:00Z no_price'], получено ['UNRATED prism/h13 2026-07-31T23:00:00+00:00 no
Метрики: phpcs 652, psalm 176, phpstan 19, loc 430
AST: cc_max 10, lcom4>1: 8, превышения порогов {'method_cc_over_10': 0, 'method_loc_over_50': 1, 'class_loc_over_300': 0, 'class_wmc_over_50': 0, 'class_lcom4_over_1': 8}Артефакты: review-zcode.md · tier3.json
Та же модель судьи (zai/glm-5.3-flash, thinking low), но вслепую: только TASK.md и дифф, без фактов чекера и метрик. Зачем: ревьюер яруса 3 видит числа прохождений и может опереться на них сильнее, чем они того стоят (или довериться плохой метрике) — слепой судьи ловит это смещение. Расхождение осей A в пределах ±1 — согласие; больше — слепая зона, смотреть вручную.
Цитаты-доказательства из диффа:
bcadd с нулевым масштабом: $scaledPlus=bcadd($scaled,'0.5',0); — второй операнд '0.5' обрезается до '0', HALF_UP фактически превращается в усечение$cost=number_format((float)$r['cost'],6,'.',''); — float при выводе денег, что прямо запрещено заданиемprivate function calcCost(UsageEvent $e, Price $p): string — вся тарификация внутри команды, домен не выделенif($event){ continue; } // idempotent — дубликат в пределах одного файла не ловится (findOneBy не видит не-sqlflush'нутые сущности)Артефакты: judge-glm.md · tier4.json