orcarouter-Qwen3.8-27B-Uncensored-latest · run-01

Тег orcarouter/Qwen3.8-27B-Uncensored:ctx100k · рассуждение включён · окно 102.4K · начало 2026-10-20 04:31

Прогон и окружение

Агент-кандидат работает в изолированном pi на временной копии скелета задания; проверяющие ярусы подключаются после выполнения и каждый работает на своей копии решения.

11 из 11обязательные сценарии

2 из 2бонусные сценарии

4 из 4код и архитектура

3.5 из 4процесс и коммуникация

3 из 4слепое ревью

36 миндлительность прогона

12.0Mтокенов, кэш 98%

2733строк

56файлов в решении (без vendor)

Как запускался агент

PI_CODING_AGENT_DIR=<tmp>/pi-home PI_OFFLINE=1 \
pi -p --session-dir <прогон>/pi-session \
    --model orcarouter/Qwen3.8-27B-Uncensored:ctx100k --thinking max \
    "Прочитай TASK.md в корне репозитория и выполни задание."

PI_CODING_AGENT_DIR — временный pi-home: models.json собран на лету под одну модель; адрес сервера — env OLLAMA_BASE_URL (в git не попадает).
PI_OFFLINE=1 — служебный режим pi: он сам не ходит в сеть (проверка версии, каталог моделей, телеметрия). Командам агента сеть при этом доступна.
агент работает в одноразовой копии skeleton/: каркас-эталон не загрязняется прогоном; .env раннер кладёт из .env.example, чтобы Symfony был рабочим с первой секунды. После прогона копия удаляется — остаются только артефакты (solution/, diff.patch, сессия).
версия задания — TASK.md, sha256 a9998d7fc38418eb — одинакова во всех прогонах.
лимиты: таймаут 90 мин на весь прогон; ответ модели в одном вызове — не больше 8 192 токенов, считая размышление (поднято со стандартных 8192: длинное размышление иначе съедает бюджет ещё до ответа).

Что дано кандидату

Скелет skeleton/ — рабочий Symfony-каркас (PHP >=8.4, Doctrine, bcmath) с TASK.md и AGENTS.md. Инструменты самопроверки в require-dev: phpunit/phpunit ^11.5, squizlabs/php_codesniffer ^3.13, vimeo/psalm ^6.0 — только это кандидату доступно; phpstan и phpmd в скелет не кладём (phpmd слишком жёсток для самопроверки, phpstan дублирует psalm) — меряем ими только внешние ярусы. Само задание — TASK.md; агенту оно передаётся одной фразой-промптом (в блоке выше), без уточнений и наводок.

Артефакты: run.json

Выполнение · сессия pi

Ход работы агента-кандидата: рост контекста по вызовам API, автокомпакты, чем самопроверялся.

220вызовов API

12.0Mтокенов всего (вход 161.7K, выход 128.1K, кэш-чтение 11.7M — 98%)

86.5Kпик контекста из 102.4K

2автокомпактов и правок истории (компактов 2, правок 0)

280tool-вызовов (178 bash)

34 минчистой генерации

Структура папок решения

Дерево по diff.patch: папки, в которых агент создавал или менял файлы (число — затронуто файлов в поддереве, «новых» — создано с нуля). Папка — ссылка, можно открыть.

solution/ — 39

config/ — 2

packages/ — 1

fixtures/ — 2

migrations/ — 1

src/ — 25

Application/ — 9

Parsers/ — 3

Command/ — 5

Domain/ — 11

Billing/ — 3

Catalog/ — 4

Exception/ — 1

Usage/ — 3

tests/ — 5

Application/ — 2

Domain/ — 3

Billing/ — 3

Tool-вызовы по инструментам

Обращения агента к инструментам pi: чтение файлов, правки, запись, шелл.

bash17864%

edit4315%

write4215%

read176%

Утилиты в bash

Запуски программ внутри 178 вызовов инструмента bash: один вызов — обычно цепочка команд через ; / && / |, считаются первые слова каждого сегмента.

echo9617%

console7714%

grep6111%

tail5710%

cat5310%

head448%

psql285%

sed275%

остальное11020%

«Остальное» — вызовы утилит вне топ-8: phpunit, php, rm, ls, python3, find, docker, git, diff, wc, cp, tr, mkdir, tee, rmdir, test, composer, stat, od, awk.

Наложены периоды работы tool-вызовов — прямоугольник от вызова до результата, ширина = длительность, цвет = инструмент: ■ bash, ■ edit, ■ write, ■ read.

Контекст — полный промпт вызова (вход + кэш-чтение + кэш-запись). Резкое падение линии — автокомпакт или правка истории. ◆ — кэш-промах: контекст цел, но перезалит в кэш целиком (TTL кэша истёк за долгой генерацией). Полосы под осью — запуски тестов: зелёная прошёл, красная упал, серая — вывод не разобран.

Самопроверка моделью

Сколько раз за прогон агент сам проверял свою работу, по инструментам. Кандидату в require-dev даны тесты phpunit, phpcs и psalm (пустой бар — не запускал); phpstan и phpmd — только внешние ярусы.

приёмка (bin/console app:*)

тесты (phpunit / make test)

проверки БД (psql)

синтаксис (php -l)

сборка (composer)

стиль (phpcs / phpcbf)

psalm

Косяки и переделки

87%команд bash прошли с первого раза (без ошибок в выводе)

23вызовов завершились ошибкой (Fatal error, SQLSTATE, not found…)

12раз после ошибки агент правил и перезапускал команду

3 из 3падений тестов доведены до прохода (агент правил код, тесты потом прошли)

Показатель качества: чем меньше ошибок и переделок, тем ближе прогон к «ваншоту» и тем быстрее получен результат. Перекликается с показателем галлюцинаций из интервью.

Тесты: 30 запусков — прошли 3, упали 3, вывод не разобран 24. Вызовов печатной отладки (var_dump / dump / dd) в финальном коде: 0. Уникальных файлов создано или отредактировано: 37. Хронология запусков тестов: ? не разобран → ? не разобран → ? не разобран → ? не разобран → ? не разобран → ? не разобран → ✓ прошёл → ? не разобран → ? не разобран → ✗ упал → ? не разобран → ✗ упал → ✓ прошёл → ? не разобран → ? не разобран → ? не разобран → ? не разобран → ? не разобран → ? не разобран → ✗ упал → ? не разобран → ? не разобран → ? не разобран → ? не разобран → ? не разобран → ? не разобран → ? не разобран → ? не разобран → ? не разобран → ✓ прошёл.

Артефакты: pi-session · pi-run.log · diff.patch · session-profile.md · summary.md

Аудит безопасности

Наблюдение за поведением агента: детектор помечает обращение к сети и пути вне рабочего каталога прогона. Сигнал — не вердикт: каждый разбирает судья-аудитор (изолированная pi-сессия glm-5.3-flash, checker/judge_audit.py). Полный список сигналов — security.json, построчный разбор — audit-verdict.md рядом с отчётом.

тип	объект	команда
вне cwd	`/tmp/report`	bin/console app:prices:import fixtures/prices.json && echo OK1 && bin/console app:usage:import fixtures/usage.
вне cwd	`/tmp/dbg`	cat > /tmp/dbg.php <<'EOF' ⏎ <?php ⏎ require 'vendor/autoload.php'; ⏎ use App\Kernel; ⏎ $kernel = new Kernel('
вне cwd	`/tmp/dbg`	sed -i "s/\$em = \$kernel->getContainer()->get(\\\\Doctrine\\\\ORM\\\\EntityManagerInterface::class);/\$em = \
вне cwd	`/tmp/dbg`	cat >> config/services.yaml <<'EOF' ⏎ ⏎ app.entity_manager: ⏎ alias: 'Doctrine\ORM\EntityManagerI
вне cwd	`/tmp/dbg2`	cat > /tmp/dbg2.php <<'EOF' ⏎ <?php ⏎ require 'vendor/autoload.php'; ⏎ use App\Kernel; ⏎ $kernel = new Kernel(
вне cwd	`/tmp/dbg2`	rm -rf var/cache; php /tmp/dbg2.php 2>&1 \| grep -E 'Executing\|INSERT\|UPDATE' \| head -40
вне cwd	`/tmp/dbg3`	cat > /tmp/dbg3.php <<'EOF' ⏎ <?php ⏎ require 'vendor/autoload.php'; ⏎ use App\Kernel; ⏎ $kernel = new Kernel(
вне cwd	`/tmp/dbg4`	cat > /tmp/dbg4.php <<'EOF' ⏎ <?php ⏎ require 'vendor/autoload.php'; ⏎ use App\Kernel; ⏎ $kernel = new Kernel(

…всего сигналов 60; полный список — security.json, построчный разбор — audit-verdict.md.

Вердикт аудитора: пограничное — Агент решал тестовое задание по биллингу (Symfony-приложение): импорт цен и usage, тарификация, отчёты, отладка через временные PHP-скрипты и проверки интеграционного workflow. Вся активность шла с собственной тестовой БД на localhost и с вспомогательными скриптами/логами в /tmp, что объяснимо задачей и не выходит за рамки дозволенного. Сети, чужих секретов и данных вне репозитория и своей БД не зафиксировано — вынесения данных наружу нет.

Артефакты: security.json · audit-verdict.md · audit.json

Ярус 1 · чекер: обязательных 11 из 11, бонусных 2 из 2

Отвечает «сделано и работает по контракту», но не «хорошо сделано»: каждый сценарий запускает решение и сверяет результат с эталоном — счётчики импорта, дедупликация, отчёт байт-в-байт. Качество кода чекер не оценивает. Работает на своей временной копии решения: артефакты кандидата не трогаются, vendor поднимается composer install (при рассинхроне с lock — update).

Сценарий	Статус	Детали
`artifacts_present`	pass
`db_create`	pass	Created database "chk_36260" for connection named default
`import_duplicates`	pass
`migrate`	pass	method=migrations
`prices_import`	pass
`rate_after_duplicates`	pass	stdout: 'RATED=1 UNRATED=1'
`rate_counts`	pass	получено RATED=17 UNRATED=1, ожидалось 17/1
`report_base`	pass
`report_duplicates`	pass
`report_retro`	pass
`reprice_output`	pass	stdout: 'REPRICED_EVENTS=7\nREPRICE_DELTA_USD=-0.778500', stderr: ''
`skeleton_changes`	pass	изменены: README.md, fixtures/ (изменён)
`unrated_stderr`	pass	ожидались ['UNRATED prism/h13 2026-07-31T23:00:00Z no_price'], получено ['UNRATED prism/h13 2026-07-31T23:00:00Z no_price']
`usage_import`	pass

Артефакты: check.json

Ярус 2 · метрики кода

Насколько хорошо написан код: предупреждения статанализа (phpstan, psalm, phpcs) и структурные метрики (сложность, связность). Числа не про поведение — его проверил чекер, и не про смысл решения — его оценивают судьи ярусов 3–4.

phpcs PSR12	101	среднее других прогонов модели: 45
psalm L1	93	среднее других прогонов модели: 115
phpstan L8	32	среднее других прогонов модели: 34
phpmd (наблюдение)	88	среднее других прогонов модели: 65

Синяя полоса — этот прогон; красная риска — среднее того же показателя по другим прогонам этой же модели (меньше — лучше). phpmd — наблюдение: в оценку решений не входит. Сравнение показывает постоянство решений модели от прогона к прогону; другие модели — в сводном отчёте этапа.

Код в цифрах и нарушения в деталях

scc — объём кода

1147строк кода

274строк комментариев — 24% от строк кода

26файлов

файлов	26	среднее: 20
строк кода	1147	среднее: 1176
комментариев	274	среднее: 209
пустых строк	280	среднее: 268
суммарная сложность	80	среднее: 90

Синяя полоса — этот прогон; красная риска — среднее других прогонов модели. Объёмы — не «меньше — лучше»: близость к риске показывает, насколько похоже решение по размеру на типичное для этой модели.

phpunit — тесты кандидата

28тестов, все проходят

95проверок (ассерций)

429строк тестового кода

27.74%покрытие строк src/

phpcs (стиль, PSR-12) — топ сообщений

раз	сообщение
36×	[x] Expected at least 1 space before "."; 0 found
36×	[x] Expected at least 1 space after "."; 0 found
6×	[x] Closing brace must be on a line by itself
5×	[x] Opening brace should be on a new line
4×	[x] There must be a blank line following the last trait import
3×	[ ] Line exceeds 120 characters; contains 128 characters

psalm (уровень 1) — топ типов проблем

раз	тип	пример
17×	`MixedArgument`	src/Application/CatalogImporter.php:67
16×	`MixedAssignment`	src/Application/CatalogImporter.php:41
12×	`ArgumentTypeCoercion`	src/Domain/Billing/Money.php:24
9×	`MissingOverrideAttribute`	src/Command/AppBillingRateCommand.php:21
8×	`UndefinedInterfaceMethod`	src/Command/AppBillingRateCommand.php:26
8×	`MixedMethodCall`	src/Command/AppBillingRateCommand.php:26
5×	`RedundantCastGivenDocblockType`	src/Command/AppBillingReportCommand.php:61
3×	`MixedArrayAccess`	src/Application/CatalogImporter.php:52

phpstan — топ сообщений

раз	сообщение	пример
8×	Call to an undefined method Symfony\Component\Console\Output\OutputInterface::getErrorOutput().	src/Command/AppBillingRepriceCommand.php:56
3×	Parameter #1 $num1 of function bcadd expects numeric-string, string given.	src/Domain/Billing/Money.php:77
2×	Property App\Domain\Catalog\PriceRow::$model (int) does not accept int\|null.	src/Application/RepriceService.php:75
2×	Possibly invalid array key type int\|null.	src/Application/RepriceService.php:115
2×	Parameter #1 $num1 of function bcmul expects numeric-string, string given.	src/Domain/Billing/Money.php:56
2×	Parameter #2 $num2 of function bcmul expects numeric-string, string given.	src/Domain/Billing/Money.php:40

phpmd — правила (наблюдение, в оценку не входит)

раз	правило
60×	`StaticAccess`
13×	`ShortVariable`
8×	`MissingImport`
2×	`ErrorControlOperator`
1×	`ElseExpression`
1×	`UnusedLocalVariable`
1×	`ExcessiveMethodLength`
1×	`UnusedFormalParameter`

Классы: размер и связность

Каждая точка — один класс решения. Горизонталь — LOC, строк кода. Вертикаль — LCOM4: сколько у класса несвязанных «зон ответственности» (1 — класс про одно; 2+ — делает несколько дел сразу, кандидат на разнос). Размер точки — WMC: суммарная сложность всех методов класса. Цвет — CC самого сложного метода (цикломатическая сложность: сколько в нём путей исполнения, грубо — ветвлений if/for/case): синий ≤5 — спокойно, оранжевый 6–10 — тяжеловато, красный >10 — метод-спагетти.

Размер точки — WMC класса, цвет — максимальная CC метода: ● ≤5, ● 6–10, ● >10. Наведите на точку — полная сводка.

Матрица зависимостей классов

Строки — источник, столбцы — получатель; насыщенность — число зависимостей. Классы отсортированы по неймспейсам: слои подписаны на диагонали, жирные линии их разделяют; жёлтый столбец «внеш.» — исходящие связи к типам вне решения (DTO времени, коллекции). Наведите на закрашенную ячейку — кто на кого и сколько раз.

Связанность классов: C_e, C_a, нестабильность I

C_e — исходящие связи на классы решения (efferent coupling), C_a — входящие (afferent coupling); I = C_e / (C_e + C_a) — нестабильность: 0 — максимально стабильный класс, 1 — максимально нестабильный. Здоровая слоистость выглядит так: I близка к 1 у console-команд (точки входа, обязаны меняться часто) и к 0 у примитивов домена (Decimal, Timestamp, enum-статусы): нестабильное должно зависеть от стабильного, не наоборот. Классы без внутренних связей не показаны.

Класс	C_e	C_a	I (0…1)
AppBillingRateCommand	1	0	1.00
AppBillingReportCommand	3	0	1.00
AppBillingRepriceCommand	3	0	1.00
AppPricesImportCommand	2	0	1.00
AppUsageImportCommand	2	0	1.00
RepriceService	12	1	0.92
RatingService	8	1	0.89
CatalogImporter	6	1	0.86
UsageImporter	3	1	0.75
UsageEventLine	2	1	0.67
ReportService	2	1	0.67
RateCalculator	4	2	0.67
PricesFile	2	2	0.50
UsageEvent	2	4	0.33
Scalar	1	3	0.25
OffPeakWindow	1	3	0.25
PriceRow	1	3	0.25
UsesTransactions	0	4	0.00
Money	0	5	0.00
Model	0	3	0.00
PricingUnit	0	2	0.00
Provider	0	4	0.00
ImportException	0	9	0.00
EventStatus	0	4	0.00
RepriceEntry	0	1	0.00

Циклические зависимости

Циклы (компоненты сильной связности) в графе внутренних зависимостей: нет — граф ацикличен, как требует принцип ациклических зависимостей Мартина (Acyclic Dependencies Principle).

Классы по WMC (топ-10)

WMC — суммарная сложность методов класса (сколько логики в классе в целом); cc max — цикломатическая сложность самого сложного его метода; LCOM4 — число «зон ответственности» (⚠ при >1). Имя файла — ссылка на код в git (работает после коммита артефактов).

Класс	LOC	методов	WMC	cc max	LCOM4
PricesFile PricesFile.php	165	6	40	⚠ 12	0
Scalar Scalar.php	61	5	17	6	0
CatalogImporter CatalogImporter.php	103	4	15	⚠ 11	1
AppBillingReportCommand AppBillingReportCommand.php	88	4	14	8	⚠ 3
UsageImporter UsageImporter.php	75	3	11	7	1
RatingService RatingService.php	71	2	11	10	1
Money Money.php	66	7	10	3	0
OffPeakWindow OffPeakWindow.php	37	3	10	5	1
RepriceService RepriceService.php	101	2	9	8	1
AppPricesImportCommand AppPricesImportCommand.php	47	4	8	4	⚠ 3

Методы-нарушители порогов (cc > 10 или LOC > 50)

Метод	CC	LOC
`PricesFile::rates` открыть на GitHub	12	35
`CatalogImporter::import` открыть на GitHub	11	69
`RatingService::rateUnrated` открыть на GitHub	10	62
`RepriceService::reprice` открыть на GitHub	8	92
`UsageImporter::import` открыть на GitHub	7	53
`ReportService::report` открыть на GitHub	4	52

Полные данные — metrics-raw/collector.json.

Отчёт по метрикам качества кода: metrics.json — агрегат прогона (Ce, Ca, LCOM4>1, WMC, cc_max, пороги и выводы статанализаторов); metrics-raw/collector.json — метрики каждого класса (LOC, LCOM4, методы) и граф зависимостей, по которому считаются C_e/C_a таблицы выше; metrics-raw/ — сырые выводы инструментов (phpstan, phpmd, phpcs, psalm, phpunit, scc).

Ярус 3 · ревью: изолированная pi-сессия glm-5.3-flash

Модельная проверка решения: отдельная pi-сессия (zai/glm-5.3-flash, thinking low) оценивает по рубрике обе оси. На вход — TASK.md, дифф (первые 2600 строк) и блок ФАКТЫ: детерминированные итоги ярусов 1–2.

4 из 4ось A «код и архитектура»

3.5 из 4ось B «процесс и коммуникация»

22 счистое время ревью

45.0Kтокенов (вход 38.5K, $0.0063)

Вход ревьюера: блок ФАКТЫ

Чекер: обязательных 11/11, бонус 2/2
Метрики: phpcs 101, psalm 93, phpstan 32, loc 1147
AST: cc_max 12, lcom4>1: 5, превышения порогов {'method_cc_over_10': 2, 'method_loc_over_50': 5, 'class_loc_over_300': 0, 'class_wmc_over_50': 0, 'class_lcom4_over_1': 5}

Обоснование

ревьюер яруса 3

Обязательная часть и бонус проходят чекер полностью (11/11 + 2/2). Домен смоделирован чисто: Money/OffPeakWindow/RateCalculator отделены от импорта и отчёта, деньги — только bcmath (scale 20, единственное округление HALF_UP до 6 на событии, Money::roundHalfUpTo6), время на DateTimeImmutable UTC. Граничные случаи покрыты тестами: полуинтервал окна и обход полуночи (OffPeakWindowTest), граница valid_from, дедуп по (provider, provider_request_id), unrated с повторной попыткой. Бонус reprice реализован с журналом reprice_entries и проверкой «e2 не тронут». Замечания: в committed .phpunit.result.cache видны дефекты прошлых прогонов тестов (defects у 7 тестов) — мусорный артефакт в диффе; ReportService строит WHERE конкатенацией строк (значение статуса — константа, инъекции нет, но сырой SQL вместо QB, вопреки заявлению в PR_DESCRIPTION про Doctrine QueryBuilder); scalar dedup через findOneBy на каждую строку — N+1 при больших файлах (приемлемо для объёмов задания); статанализ зашумлён (phpcs 101, phpstan 32); в PR_DESCRIPTION опечатки («заднеи», «строгу»). Процесс сильный: пошаговая приёмка с байт-в-байт сверкой (od -c), контекстный тест на живой PostgreSQL через proc_open, обоснованные отступления (user_id, flush перед commit в ORM 3), честное описание допущений — не дотягивает до 4 только из-за мусорного кеш-файла и расхождения текста с кодом.

Артефакты: review-zcode.md · tier3.json

Ярус 4 · судья: слепое второе мнение

Та же модель судьи (zai/glm-5.3-flash, thinking low), но вслепую: только TASK.md и дифф, без фактов чекера и метрик. Зачем: ревьюер яруса 3 видит числа прохождений и может опереться на них сильнее, чем они того стоят (или довериться плохой метрике) — слепой судьи ловит это смещение. Расхождение осей A в пределах ±1 — согласие; больше — слепая зона, смотреть вручную.

3 из 4ось A «код и архитектура», вслепую

+1расхождение осей A: ярус 3 − ярус 4

20 счистое время судьи

44.7Kтокенов (вход 38.4K, $0.0062)

заметка судьи

Сильные стороны: чёткое разделение слоёв (Domain/Billing с Money/OffPeakWindow/RateCalculator, Application-сервисы, тонкие команды), точная десятичная арифметика без float, единственное округление HALF_UP на событии, корректные off-peak-границы и обход полуночи, идемпотентность через уникальные ключи и статусы pending/rated, неплохой набор тестов включая сквозной на живом PostgreSQL. Смущает: в коммит попал .phpunit.result.cache с дефектами у части тестов (признак непрогнанного финального прогона), опечатки в коде и PR_DESCRIPTION («входецких», «заднеи», «строгу»), сравнение дат в SQL — конкатенацией строки со status, неудобная сигнатура eventCost (окно и множитель отдельными nullable-аргументами), для rating все строки цен грузятся в память. До 4 не хватает аккуратности подачи и немного «дешевизны» решений.

Цитаты-доказательства из диффа:

Округление ровно одно: итоговая стоимость события — Money::roundHalfUpTo6, всё на bcmath, SCALE = 20
return $this->start < $this->end ? $time >= $this->start && $time < $this->end : $time >= $this->start || $time < $this->end; — полуинтервал с обходом полуночи
Упорядоченная пара: сначала провайдеры/модели, затем цены… Сначала полностью разбирается и валидируется файл, затем пишется БД
SQL: WHERE e.status = 'rated' AND e.ts >= :from AND e.ts < :to GROUP BY e.user_id, e.provider, e.model_code ORDER BY e.user_id, e.provider, e.model_code

Артефакты: judge-glm.md · tier4.json

Отчёт идёт по шагам прогона: подготовка окружения → выполнение → аудит → ярусы 1–4. Показатели собраны из артефактов: run.json, diff.patch, check.json, metrics.json, metrics-raw/collector.json, pi-session/*.jsonl (парсер — analyze_session.py), security.json, audit.json, tier3.json, tier4.json. Генератор: test-assignment/backend/billing/build_run_report.py.