# quiz: анкета DISC (блиц-тест) — методика

Второй тип эксперимента в workspace `disc`, параллельно с «копированием»
(`test-assignment/`). Это **не тестовое задание**: модель ничего не строит,
а отвечает на анкету — 24 вопроса из книги Томаса Эриксона «Кругом одни
идиоты» (в книге подаётся как «блиц-тест: насколько вы усвоили материал»,
адаптирован под модель). Вопросы о профилях DISC, названных цветами
(красный = D, жёлтый = I, зелёный = S, синий = C).

**Цель**: насколько модели разбираются в DISC — точность, стабильность
ответов, влияние уровня мышления, расход токенов. Итог — сводный отчёт
`reports/QUIZ.html` для сравнения моделей × уровней.

## Условия (решения владельца)

- **Книга и автор в промпте не упоминаются** — только модель DISC и цвета
  (тон — адаптация книжного блиц-теста).
- **Вопросы без вариантов ответов** — открытые; модель называет профиль
  (или сочетание, или «нет однозначного ответа»).
- **Chat-модели отвечают JSON-ом** «номер вопроса → ответ»
  (`{"1": "<ответ>", …, "24": "<ответ>"}`) — пропуск вопроса не сдвигает
  остальные; пример-плейсхолдеры в промпте не содержат ни одного реального
  ответа анкеты.
- **Decision-модели (clef, clef-flash)** — через decision-протокол
  `/v1/systemone` (паттерн сестринского workspace
  `~/MyProjects/Models/interview/score.py`; MCQ-argmax из карточки clef):
  на каждый вопрос — кандидаты-утверждения «Правильный ответ — „X"»
  (кандидаты = варианты анкеты), noul-вероятность на каждого, выбор =
  argmax. Вторичная метрика `p_correct` — вероятность, назначенная
  правильному кандидату (калибровка). Уровней мышления нет — одно условие.

## Отличия от агентных прогонов (test-assignment/)

- **Транспорт — прямые вызовы ollama** (`/api/chat`, `/v1/systemone`):
  не pi, не агентная сессия, инструментов нет, внешние запросы не нужны.
  Правила AGENTS.md про инструменты агента (pi) здесь не применяются;
  остальные действуют: дефолтные параметры генерации, seed не фиксируется,
  изоляция, честная фиксация нестандартных событий.
- **Судьи не нужны**: балл машинный и детерминированный (сопоставление
  свободного ответа с эталонным ответом через словарь синонимов — `reference/key.json`).
- Контейнмент-риск нулевой: агентных сессий нет, bash-агенты не запускаются.

## Механика прогона (`runner.py`)

- уровни: фактическая шкала из `/api/show` (`thinking.values`); запрашиваются
  только существующие уровни (ollama молча подменяет несуществующие —
  урок AGENTS.md); булевы шкалы → off/on; у ornith ручки `think` нет —
  пилотом проверяется, что фактически происходит (факт в `run.json`);
- запрос: **системный промпт отсутствует** — один user-месседж с полным текстом
  задания; `stream false`, `keep_alive 10m` внутри блока (выгрузка — `keep_alive 0`);
- chat: `options` = `num_ctx 65536`, `num_predict 32768` — одинаково всем.
  Бюджет 32768 — правило AGENTS.md для моделей с энергичным максимумом
  в шкале мышления: первый проход серии с `num_predict 8192` показал,
  что thinking выжигает бюджет до начала ответа (bonsai@low — ~30к
  символов thinking, content пуст, `eval_count` впритык 8192; то же у
  qwen3.8/huihui@xhigh, ornith@on). Прогоны первого прохода сохранены
  как evidence в `models/<модель>/quiz-np8k/`, chat-модели перегнаны
  с новым бюджетом; decision-прогоны (clef) не зависят от options и
  не перегонялись;
  сэмплинг — дефолты модели; таймаут вызова 20 мин; ретраи — только на
  транспортные ошибки; поведенческие сбои (пусто, обрыв формата) —
  валидный результат;
- парсинг chat-ответа: `<think>` вырезается → JSON (устойчиво к ```-ограждениям
  и тексту вокруг) → фолбэк «N. ответ» построчно → цветовые токены;
  флаги `json_ok` / `fallback` / `unparsed` / `skipped` в `run.json`;
- парсинг свободного ответа: нормализация (lower, ё→е, пунктуация → пробел),
  затем синонимы вопроса (`aliases` в key.json) и общий механизм цветовых
  токенов (стемы красн/желт/зелен/син + доминир/влия/стабил/постоян/
  послуш/соответ/аналит; одиночные буквы d/i/s/c, к/ж/з/с — только в
  коротких ответах, буквы «s/с»-глиф считаются двусмысленными);
- 5 прогонов на модель×уровень; пилотный вызов каждой модели перед блоком
  (не считается); модель выгружается после блока (`keep_alive: 0`);
- снапшот `/api/ps` перед каждым прогоном → `run.json`
  (`ollama_contention`), факт конкуренции не прячется;
- артефакты: `models/<модель>/quiz/run-XX/run.json` + `answer.txt`
  (сырой ответ).

## Оценка

Балл = число совпадений с эталонными ответами из 24. Флаги честности: `skipped` (вопроса
нет в ответе), `unparsed` (ответ не распознан — это НЕ «неверный ответ»,
в отчёте виден отдельно), `ambiguous` (распознано 2+ профиля), `near`
(назван верный профиль без нужного уточнения «два/любой/все» — только для
book-вопросов). Особые вопросы (📘 в отчёте):
- **Q1/Q2** — эталонные ответы — утверждения викторины («двое жёлтых» совместимы
  социально, «зелёный с любым» в работе). Не следуют из стандартных
  DISC-ассоциаций: совместимость в DISC-фольклоре подаётся комбинацией
  двух цветов (состав пар у моделей разный: соседние и противоположные) —
  поэтому модели стабильно промахиваются. Единственные
  по-настоящему дискриминативные «методологические» вопросы.
- **Q18** — эталонный ответ самоочевиден («самая успешная команда — все цвета»),
  модели отвечают верно; помечен, чтобы не путать с парами.
- **Q24** — вопрос повышенной сложности: верный ответ — констатация
  отсутствия единственного ответа; модели в основном справляются.
В промпте источник эталонных ответов не упоминается.

## Отчёт

`report.py` → `reports/QUIZ.md` + `reports/QUIZ.html` (самодостаточный,
стиль RUNS.html; общий с английской серией): сводная таблица
модель×язык×уровень (% и балл, разброс, стабильность, json_ok, unparsed,
skipped, токены, время; сортировка кликом по заголовкам, дефолт — по
правильности), матрица модель×язык×уровень×вопрос (heatmap по долям
верных), раздел «Язык: ru vs en» (Δ в п.п.; сортируется, дефолт — по Δ),
проблемные вопросы (модели массово не отвечают) и ссылки на папки
прогонов. Сравнение chat (открытый ответ) и decision (argmax по
кандидатам) — межформатное, в отчёте помечено оговоркой.
