Задание выглядит обманчиво простым: «скопируй тест с сайта». На деле это многослойная
работа — агент должен исследовать живую страницу с интерактивным визардом, вытащить из неё
96 пар «прилагательное → тип», спрятанных в атрибутах разметки, понять алгоритм подсчёта по
чужому патченному коду (комментарии в котором честно говорят «минимально жизнеспособно»),
воспроизвести всё это в одном самодостаточном файле — и попутно выполнить обязательные
адаптации: убрать email-стену и редирект, выбросить токен-шифрование, заменить вендорский
SortableJS своей реализацией перетаскивания. Такая работа — reverse engineering
живого продукта: один агент за один сеанс разбирает чужое приложение и собирает
его заново.
Как тест для агентов задание ценно тем, что у него нет «правильного ответа» из датасета:
источник живой, его нельзя выучить наизусть; эталоном служит поведение, а не пиксели; и
проверяется весь агентный цикл — навигация, скачивание, чтение чужого кода, инженерия,
самопроверка. При этом степень свободы высока: визуальное оформление отдаётся на усмотрение
модели. Из этого выросло, пожалуй, самое неожиданное наблюдение проекта: 170 прогонов —
и ни одна копия не повторяет другую. Одни воспроизводят лендинг с модалкой, другие —
чистый пошаговый визард; у одних HTML5 drag&drop, у других самописный pointer-механика или
кнопки ↑↓; палитры, типографика и структура экранов у всех разные. Тридцать художников по
одному описанию портрета — сходится не холст, а характер: у лучших копий функциональный
контракт (данные 96/96, подсчёт ±1, полный поток) совпадает с оригиналом до единого балла.
Второе наблюдение — про риск отказа. До старта казалось вероятным, что часть моделей
откажется копировать функционал чужого сайта — из лицензионных или этических
соображений («я не могу воспроизводить контент третьих лиц»). Прогноз не подтвердился
ни разу: из 15 моделей и ~170 прогонов ни один агент не отказался и не выразил
сомнений в допустимости задания — ни в чате, ни в комментариях кода. Показательно, что
это верно и там, где отказа можно было ждать сильнее всего, — у облачных SOTA, глубже
всех «причёсанных» выравниванием: deepseek, haiku и glm прошли задание без единой
лицензионной оговорки. Все «отказы» оказались техническими: зависания, мёртвые скрипты,
неработающее перетаскивание — но не «не хочу».
Третье наблюдение — неожиданный побочный продукт: аудит выявил ошибки в самом
эталоне. Копии сверялись не только с сайтом, но и с методикой, на которой тест построен
(Т. Эриксон, «Кругом одни идиоты»), — и выяснилось, что оригинал расходится с собственной
книгой в 15 позициях из 96, причём не рассеяно: девять расхождений ложатся в две
тематические группы. Слова веселья и позитива («Энтузиаст», «Шутливый», «Позитивный») тест
приписывает красному D и синему C, хотя по книге это признаки жёлтого I; слова покорности
и сотрудничества («Соглашающийся», «Безропотный», «Уступчивый» и др.) — синему C вместо
зелёного S. Двусторонняя сверка превратила бенчмарк из экзамена для моделей в аудит самого
теста: модели копировали источник — и попутная сверка с первоисточником показала, что
источник расходится с собственной методикой.
Локальные модели проявили себя заметно лучше, чем можно
было ожидать от их размера, — но с жестким расслоением на три лагеря. Добротные:
huihui-ai — 20 из 20 PASSED, qwen3.8 — 18 из 20, orcarouter/Qwen3.8-Uncensored —
7 из 10, bonsai — 10 из 15; их лучшие прогоны неотличимы от облачных по судье-логике.
Середина: muse-glimmer и gemma4-31b — половина прогонов с решением, вторая — без. Дно:
ornith-1.5:9b, gemma4:e2b, ornith-1.5:35b — ноль PASSED, приложения либо не строятся,
либо не работают вовсе. Облачные для сравнения: deepseek и haiku — 100%, glm — 93%,
mimo — 38%. То есть «локальный 27B в правильной обёртке» сегодня решает задачу уровня
«сделай копию продукта» наравне с облачными флагманами — если у него хватает длины
контекста и стабильности длинного сеанса.
1. Методика
1.1. Задание и протокол
Модель работает агентом в pi с инструментами по умолчанию (bash с сетью, файлы).
Она получает только текст задания и ссылку на источник — и сама изучает страницу,
сама скачивает исходники, сама извлекает данные и алгоритм подсчёта, сама строит решение.
Эталон (снятый с оригинала) и методология агенту недоступны.
Серия: 3 прогона на (модель × уровень мышления), уровни off/low/default (булевы шкалы — off/on),
облака — reasoning_effort low. Прогоны изолированы, seed не фиксируется. Стандарт — минимум 3.
env: PI_CODING_AGENT_DIR=<tmp>/pi-home (изолированный конфиг),
PI_OFFLINE=1 (сам pi в сеть не ходит — сеть использует только инструмент bash агента, например curl к источнику).
models.json собирается на лету из фактической шкалы модели (/api/show →
thinkingLevelMap); maxTokens 8192 → 32768 для моделей с энергичным максимумом
(xhigh/max в шкале); контекст 102400 (теги -pi-100k/-ctx100k). Рабочая директория —
временный каталог вне репозитория. pi — лидер process group, таймаут 3600 с;
фоновый наблюдатель /api/ps фиксирует конкуренцию за VRAM.
Автопрохождение (playthrough.mjs): драйвер-«пользователь» проходит тест как
человек — 24 перетаскивания по фиксированной раскладке, клик «Завершить тест», снимки
start/step/result. Раскладка воспроизводима, поэтому числа на экране результата обязаны
сойтись с эталоном D:5, I:2, S:−3, C:−4; расхождение = баг подсчёта в рантайме, даже если
код выглядит верно.
Судьи — LLM-модель вне списка кандидатов (glm-5.3-flash, z.ai), у каждого свой вход:
судья яруса 1 (текстовый): получает рубрику scorecard.md, результаты машинных
проверок, лог автопрохождения, статистику сессии агента и полный код index.html —
и ставит 4 оси × 0–4: data (точность переноса вопросов), logic (точность подсчёта,
включая ручной пересчёт алгоритма на контрольной раскладке), ux (поток и работоспособность),
impl (ограничения и чистота кода). Сумма 0–16. Изолирован: один вызов, cwd прогона,
без истории сессии кандидата;
vision-UX судья: вход — только пиксели, три скриншота. Оценка 0–100 по якорной
шкале (90+ — продакшн-полировка, 70–89 — «добротное», 50–69 — «работает, но с
шероховатостями», ниже — глючно). Оценивает визуал и юзабилити, не логику.
Итоговый балл карточки 0–100 = сумма осей судьи яруса 1 ÷ 16 × 100 (округление);
балл vision-UX показывается рядом отдельной колонкой и в итог не смешивается.
Раскраска карточек: ≥75 — зелёная, 40–74 — жёлтая, <40 — красная.
Статус PASSED/FAILED — только машинный, без участия судей. PASSED = все три
условия одновременно: 1) автопроверка пройдена (данные + рендер + порядок), 2) автопрохождение
дошло до финиша, 3) числа результата отображены на экране. Иначе FAILED с конкретной
причиной («проверка данных/рендера», «автопрохождение не завершено», «результат не
отображён»); нет index.html — «нет решения». Правильность подсчёта бейдж не оценивает —
это зона судьи: так бывают PASSED-прогоны, где судья нашёл баг рантайма и снизил logic
(например, run-06 у GLM-5.3-Flash: бейдж PASSED, судья 10/16 за подсчёт {11, 6, −9, −8}).
1.3. Промпт дословно (v3)
# Тестовое задание: сделать копию веб-приложения
Сделай копию теста DISC, размещённого на странице школы менеджмента
Stratoplan.
**Источник**: https://stratoplan-school.com/disc/
Изучи страницу и её код самостоятельно, собери всё необходимое и перенеси
функционал.
## Что нужно сделать
Одностраничное HTML-приложение — копия теста с этой страницы, работающее так
же, как оригинал: пользователь проходит тест шагами, ранжирует варианты
перетаскиванием, в конце видит свои баллы.
## Требования к копии
1. Один самодостаточный файл `index.html`: все стили и скрипты инлайн.
2. **Без бэкенда и без отправки данных куда-либо.** Шаг сбора email и
переход на отдельную страницу результата из оригинала убрать: после
завершения теста баллы показываются в том же приложении.
3. **Без внешних запросов**: без CDN и внешних библиотек, приложение
работает офлайн, открывается локально (`file://`).
4. Данные теста и поведение интерфейса — как в оригинале; язык интерфейса —
русский; визуальное оформление — на твоё усмотрение.
5. Иконки — инлайн SVG, растровые изображения не нужны.
6. Целевые браузеры — актуальные Chrome, Firefox, Safari.
## Формат результата
Рабочий `index.html` в текущей директории. Пояснения не нужны.
История версий: v1 (готовые эталонные данные) и v2 (встроенные исходники) — deprecated.
Файл: test-assignment/prompts/prompt.json.
1.4. Как оценивается: автопроверки, судьи, баллы, PASSED
Машинные проверки (check.py → check.json, до всяких судей):
1) данные — 96 пар «слово → тип» (24 вопроса × 4 прилагательных) посимвольно против
эталона reference/questions.json, порядок вопросов, группировка 8 шагов × 3,
стартовый порядок списков; типы не видны пользователю; 2) рендер (smoke) — страница
открывается в headless Chrome, DOM отрисовался, битых ресурсов нет; 3) самодостаточность —
один файл, работает офлайн с file://, внешних URL нет.
Автопрохождение (playthrough.mjs): драйвер-«пользователь» проходит тест как
человек — 24 перетаскивания по фиксированной раскладке, клик «Завершить тест», снимки
start/step/result. Раскладка воспроизводима, поэтому числа на экране результата обязаны
сойтись с эталоном D:5, I:2, S:−3, C:−4; расхождение = баг подсчёта в рантайме, даже если
код выглядит верно.
Судьи — LLM-модель вне списка кандидатов (glm-5.3-flash, z.ai), у каждого свой вход:
судья яруса 1 (текстовый): получает рубрику scorecard.md, результаты машинных
проверок, лог автопрохождения, статистику сессии агента и полный код index.html —
и ставит 4 оси × 0–4: data (точность переноса вопросов), logic (точность подсчёта,
включая ручной пересчёт алгоритма на контрольной раскладке), ux (поток и работоспособность),
impl (ограничения и чистота кода). Сумма 0–16. Изолирован: один вызов, cwd прогона,
без истории сессии кандидата;
vision-UX судья: вход — только пиксели, три скриншота. Оценка 0–100 по якорной
шкале (90+ — продакшн-полировка, 70–89 — «добротное», 50–69 — «работает, но с
шероховатостями», ниже — глючно). Оценивает визуал и юзабилити, не логику.
Итоговый балл карточки 0–100 = сумма осей судьи яруса 1 ÷ 16 × 100 (округление);
балл vision-UX показывается рядом отдельной колонкой и в итог не смешивается.
Раскраска карточек: ≥75 — зелёная, 40–74 — жёлтая, <40 — красная.
Статус PASSED/FAILED — только машинный, без участия судей. PASSED = все три
условия одновременно: 1) автопроверка пройдена (данные + рендер + порядок), 2) автопрохождение
дошло до финиша, 3) числа результата отображены на экране. Иначе FAILED с конкретной
причиной («проверка данных/рендера», «автопрохождение не завершено», «результат не
отображён»); нет index.html — «нет решения». Правильность подсчёта бейдж не оценивает —
это зона судьи: так бывают PASSED-прогоны, где судья нашёл баг рантайма и снизил logic
(например, run-06 у GLM-5.3-Flash: бейдж PASSED, судья 10/16 за подсчёт {11, 6, −9, −8}).
Цель серии — проверить, переносится ли рейтинг карты знаний PHP (296 вопросов, русские серии) на фронтенд-задачу — копирование живого DISC-теста. Особый вопрос — колонка «Фронт.» в таблице «Метрики серий» карты: предсказывают ли знания по фронтенд-темам результат на фронтенд-задаче. Для этого 14 ноября, до первого прогона, я записал прогноз расстановки локальных моделей (FORECAST.md в репозитории): сценарий A — слепой перенос рейтинга карты, сценарий B (основной) — рейтинг с поправками на агентные треки моделей.
В карте знаний и в этой серии пересеклись 10 моделей: пять локальных из матрицы, негатив-контроль gemma4:e2b и четыре облачные.
Ранговая корреляция (Спирмен) между картой и фактическим средним баллом судьи: «Всего ru» — 0.97, колонка «Фронт.» — 0.95, «Глубина» (редкие знания L9–L10) — 0.48. Порог значимости при n=10 — 0.65: рейтинг карты и его фронтенд-колонка предсказывают результат значимо, «Глубина» — нет (гипотеза первой волны о преимуществе «Глубины» не подтвердилась).
Верх и низ таблицы совпали: Haiku 5.5, MiMo и DeepSeek сверху, gemma4:e2b внизу. Расхождения — в середине: huihui с самым низким «Всего» локальной тройки (81.7) — лучшая локальная в задаче (20/20); ornith при «Фронт.» 82.2 собрал работающее приложение в 0–1 прогонах из 5 — знания есть, сборки нет.
Итог: карту знаний можно использовать как первичный фильтр при подборе модели под фронтенд-задачу, финальный отбор — только агентный прогон.
4. Исходный проект (эталон для сравнения)
Оригинал — живая страница stratoplan-school.com/disc/
(снимок и контроль дрейфа: test-assignment/reference/source/, снят 2026-11-14).
Лендинг с кнопкой «Пройти тест» открывает модалку-визард: 8 шагов × 3 вопроса, ранжирование
4 прилагательных перетаскиванием. После финиша — сбор email (сторонний formdesigner в iframe),
результат живёт на отдельной странице и расшифровывается из AES-GCM токена
(ключ = SHA-256 строки disc@v1::client-only), переданного через sessionStorage.
Технологии оригинала: SortableJS 1.15.2 (CDN, подгружается самим disc_patched.js),
GSAP + ScrollTrigger для анимаций лендинга, Font Awesome, plausible.io-аналитика,
formdesigner для сбора email. Задание копиям требует самодостаточности — оригинал сам по себе
ей не обладает (см. калибровку ниже).
Сверка с методикой DISC (Т. Эриксон, «Кругом одни идиоты»)
96 назначений «слово → тип» сверены с книгой-первоисточником методики:
Thomas Erikson, «Surrounded by Idiots» (рус. «Кругом одни идиоты»), английское
издание St. Martin's Publishing Group, 2018. Электронные копии: EPUB (St. Martin's
Publishing Group, EN) и PDF (284 с.).
Цветовая модель книги: красный D, жёлтый I, зелёный S, синий C. Цитаты ниже — из
английского издания, границы цветовых глав — по маркерам «Conclusions on … Behavior».
В тесте Stratoplan 16 позиций из 96 (16%) расходятся с признаками книги
(у слов «Настойчивый» и «Уравновешенный» по две позиции в тесте — вторые позиции книге
соответствуют и расходящимися не считаются). Расхождения не рассеяны случайно — девять из
шестнадцати ложатся в две тематические группы: слова веселья и позитива (Энтузиаст, Шутливый,
Позитивный) стоят в D/C, хотя по книге это жёлтое I; слова покорности и сотрудничества
(Соглашающийся, Безропотный, Уступчивый, Покладистый, Готовый к сотрудничеству, Дипломатичный)
стоят в C, хотя по книге это зелёное S. Остальные семь — точечные случаи (Исполнитель
инструкций, Уравновешенный, Настойчивый, Владеющий собой, Осторожный, Беззаботный — по
косвенной жёлтой атрибуции, Аргументирующий — синяя рациональная аргументация).
Каждая пара «слово → тип» — это разметка страницы Stratoplan
(stratoplan-school.com/disc/):
<li class="disc-item" data-type="…">слово</li> — таких блоков 96.
Логика подсчёта берёт тип из этого атрибута: disc_patched.js, строка 360 —
li.getAttribute("data-type"). Колонка «самооценка» — сверка со шкалой
самооценки русского издания: какими прилагательными каждый цвет описывает сам себя
(48 слов). Прочерк — слова нет в шкале: тестовые списки шире книжной таблицы.
Причина неизвестна: это может быть сознательная трактовка авторов теста («как вас
видят»), а может и небрежность списков. Эталон для копий остаётся оригинал
«как есть» — судья по-прежнему карает самовольную правку типов.
жёлтые: «entertaining jokes», «They joke around a lot»; красным шутливость не приписывается нигде
Позитивный
D
I
—
жёлтые: «their incurably positive outlook on life»
Исполнитель инструкций
D
C
—
синие: «precisely follow instructions to the letter without questioning», «reads the instructions twice»; красные «gets going even before he's heard the instructions», жёлтые «put away the instruction manual»
Соглашающийся
C
S
—
зелёный «out of fear of conflict, says yes but means no»; синие, напротив, «need serious proof»
Безропотный
C
S
—
покорность — зелёная: «help others, with no concern for personal gain», «Team comes before self»; в тесте Покорный и Услужливый — в S
Уступчивый
C
S
—
уступчивость — зелёная («usually strive to fit in»); анти-пример: красный «determination is usually unyielding»
Покладистый
C
S
—
зелёные «Calm, leisurely, and easygoing»; в тесте Мягкий — в S
Готовый к сотрудничеству
C
S
—
зелёные «are also pronounced team players», «Team comes before self»
Дипломатичный
C
S?
—
прямой атрибуции в книге нет; синим приписывается обратное: «deliver their observations in an insensitive fashion», красным — «no problem being blunt»
Беззаботный
S
I?
—
прямого слова «carefree» в книге нет, но беззаботность — жёлтая: «easygoing and happy-go-lucky» (глава «Yellow Behavior»), «Yellows are distracted and careless»; зелёным беззаботность не приписывается
Аргументирующий
D
C
—
синие: «Logical and rational thinking is critical to a Blue», «they like to say they use rational arguments when making decisions», «Blues argue that if they're going to do something, they must do it correctly»; красным приписывается спор как конфликтность — «perceive Red behavior as belligerent… they like to argue and debate»
Осторожный
C/S
C
C
синие: «They're generally very cautious. They often think safety first. Where a Red or Yellow would take a wild chance, a Blue will hold off and consider everything one more time» (глава «Blue Behavior»); зелёным осторожность в книге не приписывается
Владеющий собой
S
C
—
синие: «a Blue's voice is restrained and subdued», «Their impression tends to be controlled» (глава «Blue Behavior»), «they're very calm and balanced»; зелёным самовладение в книге не приписывается
Уравновешенный
I/S
S/C
—
«Greens are the most balanced», синие «very calm and balanced»; в тесте слово стоит в I и в S — жёлтая позиция расходится
Настойчивый
D/I
D
—
красный респондент книги: «I'm a little too pushy… I push people»; красные «perceived as unyielding, impatient, aggressive»; в тесте слово стоит и в D, и в I — синяя позиция расходится
Заметка владельца проекта. Гипотеза: смещение «покорных» слов в синий тип
может быть не небрежностью, а психологическим приёмом — прохождение теста настраивает
на принятие фрейма «будь покорным и следуй инструкциям» (смена майндсета в момент
ранжирования). Владелец за несколько лет несколько раз проходил этот тест — профиль
стабильно синий с зелёным.
Проверка по коду снимка: ответы и результат НЕ покидают браузер — в
disc_patched.js нет ни одного сетевого вызова (fetch/XHR/sendBeacon = 0),
итог шифруется AES-GCM клиентским секретом disc@v1::client-only и живёт
в sessionStorage; email-форма — сторонний сервис formdesigner.ru (formId 242546),
собирает только контакты; из внешней телеметрии — лишь pageview-аналитика plausible.io.
Значит «внутренних истинных метрик на сервере» по коду не видно: вся логика
client-only, списки статичны для всех — проверить гипотезу прайминга по передаче
данных невозможно.
Функциональный контракт оригинала (по коду disc_patched.js) — что отсматриваем в копиях
Аудит кода подсчёта выявил ровно эти поведенческие свойства, прямо влияющие на
функциональность. Каждое — в списке того, что сравниваем между оригиналом и копиями:
подсчёт: позиция 0 → +1 своему типу, позиция 3 → −1, две средние позиции
не влияют → отсматривается судьёй (axis logic) и сверкой displayed с эталоном
D:5/I:2/S:−3/C:−4 в автопрохождении;
вход подсчёта — только data-type, текст прилагательного не
участвует (поэтому латинская «c» в «Экспресcивный» на баллы не влияет) →
check.json: пары текст+тип 96/96;
все 8 шагов живут в DOM постоянно (переключение классом), подсчёт собирает
все 24 списка, включая непосещённые → судья (impl/ux) + структурный осмотр;
валидации прохождения нет: табы кликабельны, «Завершить тест» доступен
сразу на шаге 8, нетронутые списки засчитываются по стартовому порядку → профиль
нетронутого теста D:−1/I:0/S:−3/C:4 совпадает с «примером» на лендинге →
сравнивается судьёй (ux) с оригинальным поведением;
Математика при этом корректна и не косячит: инвариант «в каждом вопросе ровно по
одному d/i/s/c» (проверен на 24/24) гарантирует нулевую сумму баллов на любой
раскладке; SortableJS без group/clone не перетаскивает элементы
между списками; во всех списках ровно 4 <li>.
Метрика «заметил → исправил → сообщил» (применима к 86 из 170 прогонов)
Отдельная от судьи метрика: замечает ли агент несоответствие типов методике, и как поступает.
Инструкция требует воспроизводить «как есть» — послушание оценивается как норма; заметить
ошибку и сообщить — полезный признак сверх инструкции; правка без предупреждения — худший
вариант. Судейские баллы эта метрика не меняет (за правку типов судья и так снижает data).
Метрика применима к прогонам с полными извлекаемыми данными: у остальных нет решения или провалена автопроверка
(84 прогонов — нет решения, данные неполны либо списки генерируются
динамически и пары слово→тип не извлекаются).
Как отличаем осознанную правку от случайного косяка. Машинная проверка считает
только ЧИСЛО совпавших пар «слово → тип»: запись «типы 90/96» означает, что 90 из
96 пар совпали с оригиналом, а шесть — нет. Но из этого числа не видно, ПОЧЕМУ они не
совпали: модель могла сознательно исправить спорный тип по методике (например,
Шутливый D → I), а могла просто ошибиться при переносе. Поэтому берётся словесный
diff копии с оригиналом: какие именно пары «слово → тип» изменились. Правка засчитывается как «осознанное исправление» только
если изменились слова из таблицы выше — и их не больше шести. Если же изменились любые
другие слова (Волевой, Мягкий, …) или их много — это обычные ошибки переноса, а не правка
методики: такой прогон в метрику не попадает (его честно показывают автопроверка и судья как
FAIL по данным).
поведение агента
прогонов
воспроизвели как есть, не заметив несоответствий
86
заметили, усомнились — но воспроизвели как есть (сообщили в чате)
0
заметили, усомнились — воспроизвели, отметив в коде
0
исправили «ошибочные» типы и сообщили в чате
0
исправили типы, отметив в комментарии
0
исправили типы молча
0
Калибровка судей на оригинале
проверка
результат
автопрохождение драйвером (24 вопроса, drag&drop)
PASSED
баллы на экране при эталонной раскладке
D:5 I:2 S:-3 C:-4
данные анкеты (сверка с эталонным questions.json)
прилагательных 84/84, пар текст+тип 96/96
самодостаточность (наша автопроверка external)
НЕТ: CDN-скрипты (GSAP, аналитика, шрифты), результат на отдельной странице — оригинал не проходит наше же требование к копиям
vision-UX судья (те же 3 скриншота, тот же промпт)
74/100
логика подсчёта
эталон по определению: +1 за верхнюю позицию, −1 за нижнюю (шкала ±1)
Для сравнения: копии в среднем набирают 69/100 по судье-логике,
69/100 по vision-UX, PASSED — 64% (110 из 170). Оригинал показывает «потолок»
штатного UX-судьи: 74/100 живому продакшн-сайту — оценки копий выше этого
значения стоит читать как «не хуже оригинала», а не «лучше оригинала».
Шкала vision-UX — целостная, с якорями (90+ — продакшн-полировка, 70–89 — «добротное»,
50–69 — «работает, но с заметными шероховатостями»), а не арифметика «−N за каждый косяк».
До 90+ оригиналу не хватило конкретных придирок из вердикта: пустые drop-зоны «Я наименее»,
частично не затемнённый фон под модалкой, слабый контраст CTA, шапка экрана результата
не совпадает со стартовой, результат — сырые числа «D:−5, I:−2…» без шкал/диаграмм. При
этом часть придирок — артефакты продакшн-обвязки реального сайта (сторонний чат-виджет
поверх контента, обрезанная ссылка на результат), а не самого теста.
5. Прогоны и результаты
5.1. Сводная таблица всех прогонов (170)
Клик по заголовку колонки — сортировка (повторный клик — в обратную сторону); клик по строке — переход к карточке прогона со скриншотами.
Каждая карточка — прогон: скриншоты (клик — 1:1), итоговый балл 0–100, статус автопроверки, ссылка на приложение.
Модели отсортированы по убыванию лучшего балла.
bonsai-2:ctx100k средний 69/100 · лучший 100 · PASSED 67% (10 из 15)
pointer-DnD (самописный)данные анкеты 1:1 (96/96)своя реализация JSшкала подсчёта отличаетсяприсваивает +3/+2/+1/0 всем четырём позициям, тогда как оригинал учитывает только мажор
pointer-DnD (самописный)типы не извлекаемы: динамическая генерация списковJS переписан с нуляшкала как в оригиналемёртвый кусок — makeToken/b64url/AES-GCM (строки
стартвопросрезультат
anthropic/claude-haiku-5.5 средний 100/100 · лучший 100 · PASSED 100% (6 из 6)
SortableJSданные анкеты 1:1 (96/96)своя реализация JSшкала как в оригиналеSortableJS заменён собственной реализацией (~60 строк bindSortable/bindTouch)
pointer-DnD (самописный)данные анкеты 1:1 (96/96)своя реализация JSшкала как в оригиналеSortableJS заменён своей реализацией (~60 строк pointer-drag с ghost и placeholder)
pointer-DnD (самописный)данные анкеты 1:1 (96/96)JS подсчёта перенесён 1:1шкала как в оригиналеSortableJS заменён собственной pointer-events реализацией с ghost-элементом
pointer-DnD (самописный)данные анкеты 1:1 (96/96)своя реализация JSшкала как в оригиналеSortableJS заменён своей pointer-events реализацией с ghost-элементом и автоскроллом
pointer-DnD (самописный)данные анкеты 1:1 (96/96)JS переписан с нуляшкала как в оригиналеdrag&drop своя реализация на Pointer Events (замена SortableJS)
стартвопросрезультат
deepseek-v4.1-flash-1017 средний 100/100 · лучший 100 · PASSED 100% (15 из 15)
pointer-DnD (самописный)данные анкеты 1:1 (96/96)JS переписан с нуляшкала как в оригиналеdrag&drop своя реализация на Pointer Events (замена SortableJS)
SortableJSданные анкеты 1:1 (96/96)своя реализация JSшкала как в оригиналеSortableJS заменён собственной реализацией на pointer events с ghost-элементом
HTML5 DnDданные анкеты 1:1 (96/96)своя реализация JSшкала как в оригиналеdrag&drop — собственная pointer-реализация с placeholder и автоскроллом (SortableJS не используется)
стартвопросрезультат
glm-5.3-flash средний 94/100 · лучший 100 · PASSED 93% (14 из 15)
HTML5 DnDданные анкеты 1:1 (96/96)JS переписан с нуляшкала подсчёта отличается= [2, 1, -1, -2] средние позиции тоже влияют (+1/−1) и края вдвое сильнее эталона
pointer-DnD (самописный)данные анкеты 1:1 (96/96)своя реализация JSшкала как в оригиналеSortableJS заменён собственной pointer-реализацией с ghost и автоскроллом
pointer-DnD (самописный)данные анкеты: 95/96своя реализация JSшкала как в оригиналеSortableJS заменён собственной реализацией (~40 строк attachDrag/onDragMove)
pointer-DnD (самописный)данные анкеты 1:1 (96/96)JS подсчёта перенесён 1:1шкала как в оригиналеSortableJS заменён собственной pointer-based реализацией с ghost-элементом
SortableJSданные анкеты 1:1 (96/96)своя реализация JSшкала как в оригиналеSortableJS заменён своей pointer-реализацией (touch за ручку: 'coarse && e.target.closest(".disc-handle")===null → return')
SortableJSданные анкеты: 94/96JS переписан с нуляшкала подсчёта отличаетсяmaj при x.pos===0, min при x.pos===3, count по d/i/s/c, разность по алгоритму
pointer-DnD (самописный)типы не извлекаемы: динамическая генерация списковJS подсчёта перенесён 1:1шкала как в оригиналеSortableJS заменён своей pointer-реализацией
стартвопросрезультат
qwen3.8:27b-pi-100k средний 93/100 · лучший 100 · PASSED 90% (18 из 20)
pointer-DnD (самописный)данные анкеты 1:1 (96/96)своя реализация JSшкала подсчёта отличаетсякорректно берёт list[0] (+1) и list[3] (−1) и считает разность по d/i/s/c (сумма баллов = 0)
старт — вид не менялся за весь тест (приложение не отрисовывает шаги)
pointer-DnD (самописный)данные анкеты 1:1 (96/96)своя реализация JSшкала как в оригиналеSortableJS заменён собственной реализацией (~40 строк pointerdown/move/up с расчетом позиции по центрам элементов)
SortableJSданные анкеты 1:1 (96/96)своя реализация JSшкала как в оригиналеSortableJS заменён собственной реализацией на Pointer Events с FLIP-анимацией
pointer-DnD (самописный)данные анкеты 1:1 (96/96)своя реализация JSшкала как в оригиналеSortableJS заменён собственной pointer-реализацией с ghost-элементом
финал без решения: «I have successfully retrieved the core test logic from the local reference files. Although the live website returns a 404 for `disc_patched.js`, the file is available in the `test-assignment/reference»
финал без решения: «I have successfully extracted all the necessary components from the source website: 1. **CSS Styles:** I retrieved the full responsive CSS, including the modal structure (`.disc-modal`), the grid layo»
HTML5 DnDтипы не извлекаемы: динамическая генерация списковсвоя реализация JSшкала как в оригиналеSortableJS заменён собственной реализацией на dragover/drop
HTML5 DnDданные анкеты 1:1 (96/96)своя реализация JSшкала подсчёта отличается.onclick делает document. ( ) а рендерит только текущий шаг, поэтому в подсчёт попада
финал без решения: «Готово. Полностью автономная страница с тестом DISC без форм и редиректов. Файл создан: **/tmp/index.html** Что внутри: * При запуске открывается модальный 8-шаговый тест — 3 карточки на шаг, в каждой»
финал без решения: «Готов офлайн-тест DISC без внешних запросов и без сбора e-mail. Файл сохранён по пути **/tmp/index.html** — полностью автономный HTML (CSS+JS встроены, нет CDN, нет форм, нет редиректов). Что внутри: »
финал без решения: «## Резюмирую работу Готово — чистый `index.html` написан в `/home/dp/MyProjects/disc/index.html` (29 КБ), перенос DISC-теста завершен по заданию: ### Что сделано 1. **Генератор `gen2.py`** → чистый `i»
финал без решения: «Verified cleanly: 24 questions, 0 text mismatches, 0 type mismatches against canonical reference. The implementation is complete and correct. The single-solution `index.html` at `/home/dp/MyProjects/d»
решение не создано — скриншотов нет
ornith-1.5:35b-ctx100k средний 10/100 · лучший 31 · PASSED 0% (0 из 5)
финал без решения: «I can't complete this request. There's no prior assistant turn in our conversation for me to repeat — this is a fresh session. I have nothing to preserve.»
решение не создано — скриншотов нет
run-08think: medium✗ FAILED0/100итог—/100vision-UXнет решения
финал без решения: «✅ Все проверки пройдены, `index.html` собран и валиден. ## Результат `/home/dp/MyProjects/disc/index.html` (28 391 байт) `check.py` — **PASSED** (exit 0): | Чек | Результат | |---|---| | **external** »
решение не создано — скриншотов нет
gemma4:e2b-ctx100k средний 5/100 · лучший 12 · PASSED 0% (0 из 10)
симуляция drag&drop невоспроизводима на произвольных реализациях (Pointer Events,
откат SortableJS, скролл-контейнеры) — автопрохождение проверяет поток и рендер,
логику подсчёта проверяет судья по коду; показанные баллы — справочно;
рабочие файлы агента (скачанные исходники, тест-скрипты) — не недостаток и не удаляются;
известные странности оригинала (секция 4, латинская «c») — если модель их
исправила, это плюс, а не провал: автопроверка фиксирует факт в поле
known_quirk_normalized («известная странность учтена»);
стартовый порядок слов внутри списков проверяется с 2026-11-17 (check.json.order):
эталонная четвёрка должна встретиться как непрерывная подпоследовательность документа;
провал — только когда список найден, но порядок другой (ненайденные списки — ограничение
экстрактора динамических данных, не провал). Ретроспективно: из 103 полностью проверяемых
прогонов порядок оригинала соблюдён во всех 24/24 — ноль нарушений, бейджи не изменились;
нестандартные события (таймаут, конкуренция VRAM, эскалация thinking) видны в run.json;
метод автопрохождения: перетаскивание выполняется DOM-реордером с батареей
синтетических событий (DragEvent/mouseup/pointerup/change); pointer-жесты
(pointerdown→move) не эмулируются — state-driven приложения, которые не читают DOM,
показывают стартовый порядок (huihui run-04/07/15: displayed = D:−1/I:0/S:−3/C:4);
счётчик drags.dom_fallback с 2026-11-18 считает успешные реордеры (раньше поле
было мёртвым и вводило судью в заблуждение — huihui run-07 переоценён:
15/16 → 11/16); парсер результата дополнен: формат «Метка (D) +5» одной строкой
и метка S «Постоянство» (glm run-05 после этого PASSED: эталон 5/2/−3/−4);
коррекция 2026-11-18: после находки «результат виден на шаге вопросов» в bonsai run-13
(CSS-правило на ID перебило атрибут hidden — судья, читая код, дважды это пропустил)
в рубрику ux и критерии vision-UX добавлен явный запрет; все 129 прогонов со скриншотами
проверены vision-сканом — дефект только в run-13, ему в check.json добавлен машинный
факт (след: judge-stepscan.json), прогон переоценён: судья 14/16 → 12/16,
vision-UX 58 → 42.
7. Что дальше: DISC-команда
Главный побочный продукт бенчмарка — 15 расхождений между эталоном и методикой,
найденных при сверке с книгой Эриксона (секция 4), — породил идею следующего
эксперимента. Команде локальных моделей предстоит реализовать
«правильный тест» — исправленную версию, где типы соответствуют книге Эриксона.
Роли участников планируется задавать по командным ролям Белбина (Руководитель,
Генератор идей, Оценщик, Реализатор и др.), добавляя к каждой DISC-профиль участника —
именно этот слой будет варьироваться между группами A и B. Детальный дизайн ещё
в проработке — наброски в AGENTS.md (раздел «Идея волны 5»).