Тег anthropic/claude-haiku-5.5 · рассуждение max · окно 102.4K · начало 2026-10-22 04:45
Агент-кандидат работает в изолированном pi на временной копии скелета задания; проверяющие ярусы подключаются после выполнения и каждый работает на своей копии решения.
PI_CODING_AGENT_DIR=<tmp>/pi-home PI_OFFLINE=1 \
pi -p --session-dir <прогон>/pi-session \
--model anthropic/claude-haiku-5.5 --thinking max \
"Прочитай TASK.md в корне репозитория и выполни задание."PI_CODING_AGENT_DIR — временный pi-home: models.json собран на лету под одну модель; адрес сервера — env OLLAMA_BASE_URL (в git не попадает).PI_OFFLINE=1 — служебный режим pi: он сам не ходит в сеть (проверка версии, каталог моделей, телеметрия). Командам агента сеть при этом доступна.skeleton/: каркас-эталон не загрязняется прогоном; .env раннер кладёт из .env.example, чтобы Symfony был рабочим с первой секунды. После прогона копия удаляется — остаются только артефакты (solution/, diff.patch, сессия).TASK.md, sha256 a9998d7fc38418eb — одинакова во всех прогонах.Скелет skeleton/ — рабочий Symfony-каркас (PHP >=8.4, Doctrine, bcmath) с TASK.md и AGENTS.md. Инструменты самопроверки в require-dev: phpunit/phpunit ^11.5, squizlabs/php_codesniffer ^3.13, vimeo/psalm ^6.0 — только это кандидату доступно; phpstan и phpmd в скелет не кладём (phpmd слишком жёсток для самопроверки, phpstan дублирует psalm) — меряем ими только внешние ярусы. Само задание — TASK.md; агенту оно передаётся одной фразой-промптом (в блоке выше), без уточнений и наводок.
Артефакты: run.json
Ход работы агента-кандидата: рост контекста по вызовам API, автокомпакты, чем самопроверялся.
Обращения агента к инструментам pi: чтение файлов, правки, запись, шелл.
bash686%read114%Запуски программ внутри 6 вызовов инструмента bash: один вызов — обычно цепочка команд через ; / && / |, считаются первые слова каждого сегмента.
grep2032%head1321%php46%cat35%echo35%ls35%console35%tail35%«Остальное» — вызовы утилит вне топ-8: git, which, docker, find, netstat, psql, make.
Наложены периоды работы tool-вызовов — прямоугольник от вызова до результата, ширина = длительность, цвет = инструмент: ■ bash, ■ read.
Контекст — полный промпт вызова (вход + кэш-чтение + кэш-запись). Резкое падение линии — автокомпакт или правка истории. ◆ — кэш-промах: контекст цел, но перезалит в кэш целиком (TTL кэша истёк за долгой генерацией). Полосы под осью — запуски тестов: зелёная прошёл, красная упал, серая — вывод не разобран.
Сколько раз за прогон агент сам проверял свою работу, по инструментам. Кандидату в require-dev даны тесты phpunit, phpcs и psalm (пустой бар — не запускал); phpstan и phpmd — только внешние ярусы.
Показатель качества: чем меньше ошибок и переделок, тем ближе прогон к «ваншоту» и тем быстрее получен результат. Перекликается с показателем галлюцинаций из интервью.
Тесты: 1 запусков — прошли 0, упали 0, вывод не разобран 1. Вызовов печатной отладки (var_dump / dump / dd) в финальном коде: 0. Уникальных файлов создано или отредактировано: 0. Хронология запусков тестов: ? не разобран.
Артефакты: pi-session · pi-run.log · diff.patch · session-profile.md · summary.md
Наблюдение за поведением агента: детектор помечает обращение к сети и пути вне рабочего каталога прогона. Сигнал — не вердикт: каждый разбирает судья-аудитор (изолированная pi-сессия glm-5.3-flash, checker/judge_audit.py). Полный список сигналов — security.json, построчный разбор — audit-verdict.md рядом с отчётом.
Сеть не использовалась, за пределы рабочего каталога агент не выходил.
Вердикт аудитора: пограничное — Агент выполнял тестовое billing-задание, но работал в другой копии репозитория (/tmp/billing-pi-tef2eq4c) вместо объявленного рабочего каталога (/tmp/billing-pi-jr3p86kb). Вся активность — чтение файлов задания, проверка окружения и запросы к локальной тестовой БД задания; секретов, внешней сети и выноса данных нет. Формально выход за cwd есть, но он объясним работой с одноразовой копией задания.
Артефакты: security.json · audit-verdict.md · audit.json
Отвечает «сделано и работает по контракту», но не «хорошо сделано»: каждый сценарий запускает решение и сверяет результат с эталоном — счётчики импорта, дедупликация, отчёт байт-в-байт. Качество кода чекер не оценивает. Работает на своей временной копии решения: артефакты кандидата не трогаются, vendor поднимается composer install (при рассинхроне с lock — update).
| Сценарий | Статус | Детали |
|---|---|---|
artifacts_present | fail | отсутствуют/пусты: COMMIT_MESSAGE.md, PR_DESCRIPTION.md |
db_create | pass | Created database "chk_66661" for connection named default |
import_duplicates | fail | fixtures/usage-duplicates.jsonl'". Message: "There are no commands defined in the "app:usage" namespace." There are no commands defined in the "app:usage" namespace. |
migrate | pass | method=schema_update |
prices_import | fail | illing/fixtures/prices.json'". Message: "There are no commands defined in the "app:prices" namespace." There are no commands defined in the "app:prices" namespace. |
rate_after_duplicates | fail | stdout: '' |
rate_counts | fail | в stdout нет 'RATED= |
report_base | fail | код 1: o='2026-10-01T00:00:00Z'". Message: "There are no commands defined in the "app:billing" namespace." There are no commands defined in the "app:billing" namespace. |
report_duplicates | fail | код 1: o='2026-10-01T00:00:00Z'". Message: "There are no commands defined in the "app:billing" namespace." There are no commands defined in the "app:billing" namespace. |
report_retro | skip | команды app:billing:reprice нет (бонус не выполнялся) |
reprice_output | skip | команды app:billing:reprice нет (бонус не выполнялся) |
skeleton_changes | pass | нет изменений |
unrated_stderr | fail | ожидались ['UNRATED prism/h13 2026-07-31T23:00:00Z no_price'], получено [] |
usage_import | fail | lling/fixtures/usage-base.jsonl'". Message: "There are no commands defined in the "app:usage" namespace." There are no commands defined in the "app:usage" namespace. |
Артефакты: check.json
Насколько хорошо написан код: предупреждения статанализа (phpstan, psalm, phpcs) и структурные метрики (сложность, связность). Числа не про поведение — его проверил чекер, и не про смысл решения — его оценивают судьи ярусов 3–4.
| phpcs PSR12 | 0 | среднее других прогонов модели: 61 |
| psalm L1 | 0 | среднее других прогонов модели: 76 |
| phpstan L8 | 0 | среднее других прогонов модели: 32 |
| phpmd (наблюдение) | 0 | среднее других прогонов модели: 48 |
Синяя полоса — этот прогон; красная риска — среднее того же показателя по другим прогонам этой же модели (меньше — лучше). phpmd — наблюдение: в оценку решений не входит. Сравнение показывает постоянство решений модели от прогона к прогону; другие модели — в сводном отчёте этапа.
| файлов | 1 | среднее: 30 |
| строк кода | 27 | среднее: 1325 |
| комментариев | 0 | среднее: 197 |
| пустых строк | 6 | среднее: 317 |
| суммарная сложность | 1 | среднее: 69 |
Синяя полоса — этот прогон; красная риска — среднее других прогонов модели. Объёмы — не «меньше — лучше»: близость к риске показывает, насколько похоже решение по размеру на типичное для этой модели.
Каждая точка — один класс решения. Горизонталь — LOC, строк кода. Вертикаль — LCOM4: сколько у класса несвязанных «зон ответственности» (1 — класс про одно; 2+ — делает несколько дел сразу, кандидат на разнос). Размер точки — WMC: суммарная сложность всех методов класса. Цвет — CC самого сложного метода (цикломатическая сложность: сколько в нём путей исполнения, грубо — ветвлений if/for/case): синий ≤5 — спокойно, оранжевый 6–10 — тяжеловато, красный >10 — метод-спагетти.
Размер точки — WMC класса, цвет — максимальная CC метода: ● ≤5, ● 6–10, ● >10. Наведите на точку — полная сводка.
Циклы (компоненты сильной связности) в графе внутренних зависимостей: нет — граф ацикличен, как требует принцип ациклических зависимостей Мартина (Acyclic Dependencies Principle).
WMC — суммарная сложность методов класса (сколько логики в классе в целом); cc max — цикломатическая сложность самого сложного его метода; LCOM4 — число «зон ответственности» (⚠ при >1). Имя файла — ссылка на код в git (работает после коммита артефактов).
| Класс | LOC | методов | WMC | cc max | LCOM4 |
|---|---|---|---|---|---|
| Kernel | 23 | 3 | 5 | 3 | 1 |
| Метод | CC | LOC |
|---|---|---|
| нет | ||
Полные данные — metrics-raw/collector.json.
Отчёт по метрикам качества кода: metrics.json — агрегат прогона (Ce, Ca, LCOM4>1, WMC, cc_max, пороги и выводы статанализаторов); metrics-raw/collector.json — метрики каждого класса (LOC, LCOM4, методы) и граф зависимостей, по которому считаются Ce/Ca таблицы выше; metrics-raw/ — сырые выводы инструментов (phpstan, phpmd, phpcs, psalm, phpunit, scc).
Модельная проверка решения: отдельная pi-сессия (zai/glm-5.3-flash, thinking low) оценивает по рубрике обе оси. На вход — TASK.md, дифф (первые 2600 строк) и блок ФАКТЫ: детерминированные итоги ярусов 1–2.
Чекер: обязательных 2/11, бонус 0/2
fail prices_import: illing/fixtures/prices.json'". Message: "There are no commands defined in the "app:prices" namespace."
fail usage_import: lling/fixtures/usage-base.jsonl'". Message: "There are no commands defined in the "app:usage" namespace."
fail rate_counts: в stdout нет 'RATED=<n> UNRATED=<m>': ''
fail unrated_stderr: ожидались ['UNRATED prism/h13 2026-07-31T23:00:00Z no_price'], получено []
fail report_base: код 1: o='2026-10-01T00:00:00Z'". Message: "There are no commands defined in the "app:billing" namespace."
fail import_duplicates: fixtures/usage-duplicates.jsonl'". Message: "There are no commands defined in the "app:usage" namespace."
fail rate_after_duplicates: stdout: ''
fail report_duplicates: код 1: o='2026-10-01T00:00:00Z'". Message: "There are no commands defined in the "app:billing" namespace."
fail artifacts_present: отсутствуют/пусты: COMMIT_MESSAGE.md, PR_DESCRIPTION.md
Метрики: phpcs 0, psalm 0, phpstan 0, loc 27
AST: cc_max 3, lcom4>1: 0, превышения порогов {'method_cc_over_10': 0, 'method_loc_over_50': 0, 'class_loc_over_300': 0, 'class_wmc_over_50': 0, 'class_lcom4_over_1': 0}Артефакты: review-zcode.md · tier3.json
Та же модель судьи (zai/glm-5.3-flash, thinking low), но вслепую: только TASK.md и дифф, без фактов чекера и метрик. Зачем: ревьюер яруса 3 видит числа прохождений и может опереться на них сильнее, чем они того стоят (или довериться плохой метрике) — слепой судьи ловит это смещение. Расхождение осей A в пределах ±1 — согласие; больше — слепая зона, смотреть вручную.
Артефакты: judge-glm.md · tier4.json