24 вопроса (ru) / 23 вопроса (en) по методологии DISC/ 485 прогонов. Сформировано: 2026-11-20 05:50 UTC.
Примечание. (1) Межформатная — тонкость для LLM: в книге каждый вопрос дан с вариантами ответа. Decision-модели (clef) получают анкету как в книге — варианты видны (утверждения-пробы «правильный ответ — „X“, argmax): задача — выбор из видимых кандидатов. Генеративные LLM получают только вопросы, без вариантов: задача — воспроизведение (определить профиль самому) — условия строже. Баллы между форматами сравнивать с этой разницей; чистые сравнения — внутри формата. (2) Межъязыковая: ru — 24 вопроса, en — 23 (в английском оригинале нет вопроса про болезненную реакцию на критику), поэтому сравниваем проценты, а не сырые баллы.
Методика
Материал. Анкета по методологии DISC — 24 вопроса (ru) /
23 (en); вопросы задаются без вариантов — модель называет профиль, сочетание или
«нет однозначного ответа». Источник — блиц-тест из книги Томаса Эриксона: ru — «Кругом одни
идиоты. Если вам так кажется, возможно, вам не кажется» (Эксмо, 2014); en —
«Surrounded by Idiots» (английское издание, Macmillan/Ebury, 2019). Эталонные ответы сверены
с разделом ответов книги (гл. 20) — снимки с правильными ответами:
ru — quiz/reference/quiz-with-key.md ·
en — quiz-en/reference/quiz-with-key.md.
Источник анкеты и эталонных ответов в промпте не упоминается.
Прогон и запрос. Модель отвечает на все вопросы одним
ответом (JSON «номер → ответ»), по 5 прогонов на модель×уровень (часть флагманов-облаков —
по 2); сбойные прогоны (транспортные ошибки) в метриках не участвуют.
Запрос: системный промпт отсутствует — один user-месседж с полным текстом задания
(интро + правила формата + вопросы, дословно из prompts/prompt.json).
Параметры: stream false, num_ctx 65536,
num_predict 32768, ручка мышления уровня (think /
reasoning_effort / enable_thinking false — по API провайдера),
seed не задаётся; остальное — дефолты модели.
Для kimi (подписка Kimi coding) — тот же user-промпт без системного.
Для clef — decision-протокол /v1/systemone (см. оговорку выше).
POST /api/chat
{
"model": "<тег модели>",
"messages": [
{
"role": "user",
"content": "<пользовательский промпт — см. ниже>"
}
],
"stream": false,
"keep_alive": "10m",
"options": {
"num_ctx": 65536,
"num_predict": 32768
},
"think": "<off | low | medium | high | xhigh — по модели>"
}
Пользовательские промпты (дословно):
ru — quiz/prompts/prompt.json:
показать текст
В модели DISC четыре поведенческих профиля, названных цветами: красный, жёлтый, зелёный и синий. Проверьте себя: насколько хорошо вы представляете, как действуют и поступают люди разных профилей.
Ниже 24 вопроса. На каждый ответьте, назвав профиль (цвет), который лучше всего подходит; если ответ — сочетание профилей, назовите сочетание; если однозначного ответа нет, так и напишите.
Ответьте строго JSON-ом — объект с ответами по номерам вопросов, без текста вне JSON:
{"1": "<ответ на вопрос 1>", "2": "<ответ на вопрос 2>", "3": "<ответ на вопрос 3>", …, "24": "<ответ на вопрос 24>"}
Вопросы:
1. Какие профили совместимы в социальном плане?
2. Какие профили совместимы в совместной работе?
3. Какой профиль всегда хотел бы возглавить проект?
4. Какой профиль окажется лучшим хирургом?
5. Какой профиль больше всех упивается ролью оратора?
6. Какой профиль чаще всего знает, где он сохранил электронное письмо от шефа?
7. Какой профиль стремится провести побольше тестов или собрать побольше информации перед тем, как принять решение?
8. Какой профиль всегда приходит вовремя и в этом плане на него можно положиться?
9. Какой профиль раз за разом не следует правилам только ради того, чтобы работа была сделана?
10. Какой профиль охотнее всех апробирует новые технологии или приемы, если это ускорит работу?
11. Какой профиль дольше всех помнит критику в свой адрес?
12. Какой профиль болезненнее всего реагирует на личную критику?
13. Какой профиль менее всех организован, но знает, где может получить нужную информацию?
14. Какой профиль хочет всегда принимать решения?
15. Какой профиль охотнее всего следует последней моде?
16. Какой профиль охотнее берется за сложные задачи?
17. Какой профиль легко судит других?
18. Комбинация каких профилей образует самую успешную команду?
19. Какой профиль вероятнее всего окажется самым разговорчивым?
20. Какой профиль быстрее всех воспримет новую идею?
21. Какой профиль мог бы поручить задание другим, но все же выполнит его сам?
22. Какой профиль окажется лучшим слушателем?
23. Какой профиль не пропустит ни малейшего пункта в инструкции?
en — quiz-en/prompts/prompt.json:
показать текст
EN (дословно):
A quick little quiz: how well have you learned the DISC model?
DISC describes four behavioral profiles named after colors: Red, Yellow, Green and Blue. Test yourself: how well do you understand how people of different profiles act and behave?
Below are 23 questions. For each question, name the profile (color) that fits best; if the answer is a combination of profiles, name the combination; if there is no single answer, say so.
Answer strictly in JSON — an object mapping question numbers to your answers, no text outside the JSON:
{"1": "<your answer to question 1>", "2": "<your answer to question 2>", "3": "<your answer to question 3>", ..., "23": "<your answer to question 23>"}
Questions:
1. Which combination of profiles would naturally agree on a social level?
2. Which combination of profiles naturally work well together?
3. Which profile will always prefer to be the head of a project?
4. Which profile would make the best surgeon?
5. Which person would enjoy giving a speech the most?
6. Which person would know exactly where he saved that email from his boss?
7. Which person would want to do more tests or get more information before making a decision?
8. Which person can you always rely on to arrive on time?
9. Which person doesn’t follow the rulebook to get a job done?
10. Which person would be the most willing to try something new to get the job done?
11. Which person will remember personal criticism the longest?
12. Which person is the least organized but knows exactly where to go to get what he needs?
13. Which profile always wants to make decisions?
14. Which profile wears the latest fashions?
15. Which profile would enjoy new challenges the most?
16. Which profile would be the quickest to judge other people?
17. Which combination of profiles would form the best team?
18. Which profile will probably talk the most?
19. Which profile would assimilate new ideas the quickest?
20. Which profile would delegate a task but then still do it himself?
21. Which profile is the best listener?
22. Which profile wouldn’t miss the last step of the instructions?
23. Which profile is most common in your social circle?
Уровни мышления. Каждый уровень, поддерживаемый
моделью.
Скоринг. Машинный, без судей: сопоставление ответа
с эталоном через словарь синонимов и цветовых токенов. «Не распознано» ≠ «неверно»
(флаги unparsed/skipped — отдельно).
Языки. ru и en анкеты — из оригинальных редакций (не перевод друг друга);
вопросы сопоставлены 1:1, сравнение по процентам. Decision-модели (clef) отвечают
argmax по вариантам — см. оговорку выше.
по умолчанию — по правильности (%), лучшие сверху; клик по заголовку — сортировка по столбцу, повторный клик — в обратную сторону. В скобках — балл: среднее число верных ответов из 24 (ru) / 23 (en); min–max — разброс баллов по прогонам; «—» в токенах у kimi — шим не сохранял usage из ответа API (исправлено; у прежних прогонов токенов нет).
столбцы — нумерация ru (24 вопроса); вторая строка шапки — номера сопоставленных en-вопросов (ru 12 не имеет en-аналога). Ячейка — доля верных ответов на вопрос по прогонам группы, 0–100 (наведение — точные «верных/всего»); 📘 — эталонный ответ не однозначный
модель @ уровень
язык
1 📘
2 📘
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18 📘
19
20
21
22
23
24 📘
№ en →
1 📘
2 📘
3
4
5
6
7
8
9
10
11
—
12
13
14
15
16
17 📘
18
19
20
21
22
23 📘
bonsai-2-27b @ off
ru
0
0
100
80
80
100
80
100
100
20
0
0
100
100
100
80
80
40
100
60
60
20
100
80
bonsai-2-27b @ low
ru
0
0
100
100
100
100
100
20
100
0
0
0
100
100
100
60
40
100
100
0
100
100
100
100
bonsai-2-27b @ medium
ru
0
0
100
100
100
100
100
60
100
20
20
20
100
100
100
80
60
80
100
0
100
100
100
100
bonsai-2-27b @ xhigh
ru
0
0
100
100
100
100
100
20
100
20
20
20
100
100
100
60
0
100
100
0
100
100
100
100
bonsai-2-27b @ off
en
0
0
100
100
80
100
100
60
100
60
20
—
60
100
100
80
100
60
80
0
100
60
100
100
bonsai-2-27b @ low
en
0
0
100
100
100
100
100
60
100
80
20
—
100
100
100
80
80
100
100
0
80
100
100
100
bonsai-2-27b @ medium
en
0
0
100
100
100
100
100
80
100
60
0
—
80
100
100
60
100
100
100
40
100
100
100
60
bonsai-2-27b @ xhigh
en
0
0
100
100
100
100
100
20
100
80
20
—
100
100
100
100
100
100
100
0
100
100
100
100
clef @ decision
ru
0
100
100
100
100
100
100
100
100
0
0
0
100
100
100
100
100
100
100
0
100
0
100
100
clef @ decision
en
100
100
100
100
100
100
100
100
100
0
0
—
100
100
0
100
100
100
100
0
100
100
100
100
clef-flash @ decision
ru
100
100
100
100
100
100
0
100
100
100
0
0
100
0
100
0
0
100
100
0
0
0
100
100
clef-flash @ decision
en
100
100
100
100
0
100
100
100
100
100
0
—
100
100
100
0
100
100
100
0
0
0
100
100
deepseek-flash @ low
ru
0
0
100
100
100
100
100
80
100
0
0
0
100
100
100
80
0
100
100
0
0
100
100
100
deepseek-flash @ high
ru
0
0
100
100
100
100
100
60
100
0
80
80
100
100
100
100
0
100
100
0
20
100
100
100
deepseek-flash @ low
en
0
0
100
100
100
100
100
100
100
60
80
—
100
100
100
100
60
100
100
0
100
100
100
100
deepseek-flash @ high
en
0
0
100
100
100
100
100
40
100
60
100
—
100
100
100
100
60
100
100
0
80
100
100
100
gemma4-26b-pi-100k @ off
ru
0
0
100
100
100
100
100
40
100
100
100
0
100
100
100
60
80
20
100
0
100
100
100
100
gemma4-26b-pi-100k @ on
ru
0
0
100
100
100
100
100
60
100
20
100
0
100
100
100
100
100
60
100
0
100
100
100
100
gemma4-26b-pi-100k @ off
en
0
0
100
100
100
100
100
100
100
100
100
—
100
100
100
0
100
0
100
0
100
100
100
100
gemma4-26b-pi-100k @ on
en
0
0
100
100
100
100
100
100
100
60
100
—
100
100
100
100
100
100
100
0
0
100
100
100
gemma4-31b-it-qat-pi-100k @ off
ru
0
0
100
0
100
100
100
40
100
0
100
100
100
100
100
100
60
100
100
0
100
100
100
100
gemma4-31b-it-qat-pi-100k @ on
ru
0
0
100
0
100
100
100
60
100
0
100
80
100
100
100
100
20
100
100
0
20
100
100
100
gemma4-31b-it-qat-pi-100k @ off
en
0
0
100
0
100
100
100
100
20
100
100
—
100
100
100
100
100
100
100
0
80
100
100
100
gemma4-31b-it-qat-pi-100k @ on
en
0
0
100
20
100
100
100
100
100
80
100
—
100
100
100
100
100
100
100
0
0
100
100
100
gemma4-e2b-ctx100k @ off
ru
0
0
100
0
0
100
60
100
100
100
0
0
40
60
100
100
80
0
0
0
40
20
40
20
gemma4-e2b-ctx100k @ on
ru
0
0
100
100
100
100
100
0
100
0
100
0
100
100
100
80
60
0
100
60
100
100
100
80
gemma4-e2b-ctx100k @ off
en
0
0
0
100
0
80
100
100
100
100
0
—
20
0
100
100
100
0
0
0
0
100
100
100
gemma4-e2b-ctx100k @ on
en
0
0
100
100
100
100
100
0
100
80
100
—
0
100
100
80
100
60
100
0
100
100
100
20
glm-5.3 @ low
ru
0
0
100
100
100
100
100
60
100
0
100
0
100
100
100
100
80
100
100
0
100
100
100
100
glm-5.3 @ high
ru
0
0
100
80
100
100
100
20
100
0
60
80
100
100
100
100
60
100
100
0
60
100
100
100
glm-5.3 @ max
ru
0
0
100
60
100
100
100
20
100
0
100
40
100
100
100
80
60
80
100
0
40
100
100
100
glm-5.3 @ low
en
0
0
100
100
100
100
60
60
100
60
100
—
60
100
100
100
100
40
100
0
100
100
100
80
glm-5.3 @ high
en
0
0
100
100
100
100
100
20
100
80
100
—
100
100
100
100
100
80
100
0
100
100
100
100
glm-5.3 @ max
en
0
0
100
80
100
100
80
40
100
80
100
—
100
100
100
100
80
80
100
0
100
100
100
80
glm-5.3-flash @ low
ru
0
0
100
40
100
100
100
0
100
0
100
80
100
100
100
80
0
0
100
0
40
100
100
100
glm-5.3-flash @ high
ru
0
0
100
100
100
100
100
0
100
0
100
100
100
100
100
100
20
100
100
0
20
100
100
100
glm-5.3-flash @ max
ru
0
0
100
100
100
100
100
0
100
0
100
60
100
100
100
80
20
80
100
0
40
100
100
100
glm-5.3-flash @ low
en
0
0
100
100
100
100
100
0
100
80
100
—
100
100
100
80
100
20
100
0
100
100
60
100
glm-5.3-flash @ high
en
0
40
100
100
100
100
100
40
100
80
100
—
100
100
100
100
100
100
100
0
60
100
100
100
glm-5.3-flash @ max
en
0
60
100
100
100
100
100
0
100
100
100
—
100
100
100
100
100
100
100
0
80
100
100
100
huihui-ai-pi-100k @ off
ru
0
0
100
100
100
100
100
100
100
80
20
0
100
100
100
100
40
100
100
0
100
100
100
100
huihui-ai-pi-100k @ low
ru
0
0
100
100
100
100
100
60
100
80
20
0
100
100
100
80
60
80
100
0
100
100
100
60
huihui-ai-pi-100k @ medium
ru
0
0
100
100
100
100
100
60
100
60
60
0
80
100
100
100
60
80
100
0
100
100
100
80
huihui-ai-pi-100k @ xhigh
ru
0
0
100
100
100
100
100
0
100
0
20
0
100
100
100
100
40
100
100
0
100
100
100
100
huihui-ai-pi-100k @ off
en
0
0
100
100
100
100
100
100
100
60
60
—
60
100
100
60
100
80
100
0
100
100
100
80
huihui-ai-pi-100k @ low
en
0
0
100
100
100
100
100
60
100
20
100
—
80
100
80
80
100
100
100
0
100
100
100
20
huihui-ai-pi-100k @ medium
en
0
0
100
100
100
100
100
100
100
60
60
—
80
100
100
100
80
100
100
0
100
100
100
40
huihui-ai-pi-100k @ xhigh
en
0
0
100
100
100
100
100
20
100
60
100
—
100
100
100
100
100
100
100
0
100
100
100
100
kimi-k3.1-pro @ low
ru
0
0
100
100
100
100
100
67
100
0
33
0
100
100
100
100
100
100
100
33
0
100
100
100
kimi-k3.1-pro @ high
ru
0
0
100
100
100
100
100
33
100
0
33
33
100
100
100
100
100
100
100
0
0
100
100
100
kimi-k3.1-pro @ max
ru
0
0
100
100
100
100
100
0
100
0
100
33
100
100
100
100
67
100
100
0
33
100
100
100
kimi-k3.1-pro @ low
en
0
0
100
100
100
100
100
100
100
67
100
—
100
100
100
100
100
100
100
33
100
100
100
100
kimi-k3.1-pro @ high
en
0
0
100
100
100
100
100
67
100
67
100
—
100
100
100
100
100
100
100
33
33
100
100
100
kimi-k3.1-pro @ max
en
0
0
100
100
100
100
100
0
100
67
100
—
100
100
100
100
100
100
100
33
33
100
100
100
medgemma-27b-ctx100k @ off
ru
0
0
100
100
100
100
100
80
100
20
0
20
100
100
100
100
100
60
100
0
100
100
100
100
medgemma-27b-ctx100k @ off
en
0
40
100
80
100
100
60
20
100
100
0
—
100
100
100
0
100
40
100
0
100
100
60
100
mimo-v2.6-flash-xiaomi-plan @ off
ru
0
0
100
100
100
100
100
100
67
0
0
33
100
100
100
67
67
100
100
33
0
100
100
67
mimo-v2.6-flash-xiaomi-plan @ low
ru
0
0
100
100
100
100
100
0
100
0
0
33
67
100
100
100
67
100
100
0
33
100
100
0
mimo-v2.6-flash-xiaomi-plan @ medium
ru
0
0
100
100
100
67
100
0
100
0
33
0
100
100
100
100
33
100
100
0
67
100
100
67
mimo-v2.6-flash-xiaomi-plan @ high
ru
0
0
100
100
100
100
100
0
100
33
33
33
100
100
100
67
67
100
100
0
0
100
100
100
mimo-v2.6-flash-xiaomi-plan @ off
en
0
0
100
100
100
100
100
33
100
100
33
—
100
100
100
0
100
100
100
0
100
100
100
67
mimo-v2.6-flash-xiaomi-plan @ low
en
0
0
100
100
100
100
100
0
100
67
100
—
100
100
100
100
100
100
100
0
100
100
100
67
mimo-v2.6-flash-xiaomi-plan @ medium
en
0
0
100
100
100
100
100
67
67
100
67
—
100
100
100
100
100
67
100
0
100
100
100
67
mimo-v2.6-flash-xiaomi-plan @ high
en
0
0
100
100
100
100
100
67
100
33
100
—
100
100
100
100
100
100
100
0
67
100
100
67
mimo-v2.6-pro-xiaomi-plan @ off
ru
0
0
100
100
100
100
100
67
100
67
100
33
100
100
100
100
100
100
100
0
67
100
100
100
mimo-v2.6-pro-xiaomi-plan @ low
ru
0
0
100
100
100
100
100
0
100
33
67
0
100
100
100
100
0
100
100
0
33
100
100
100
mimo-v2.6-pro-xiaomi-plan @ medium
ru
0
0
100
100
100
100
100
0
100
0
67
33
100
100
100
100
100
100
100
0
33
100
100
100
mimo-v2.6-pro-xiaomi-plan @ high
ru
0
0
100
100
100
100
100
0
100
0
67
0
100
100
100
100
67
100
100
0
33
100
100
100
mimo-v2.6-pro-xiaomi-plan @ off
en
0
0
100
100
100
100
67
33
0
100
67
—
100
100
100
33
100
100
100
0
100
100
100
100
mimo-v2.6-pro-xiaomi-plan @ low
en
0
0
100
100
100
100
100
0
100
67
100
—
100
100
100
100
100
100
100
0
100
100
100
100
mimo-v2.6-pro-xiaomi-plan @ medium
en
0
0
100
100
100
100
100
0
100
100
100
—
100
100
100
100
100
100
100
0
100
100
100
100
mimo-v2.6-pro-xiaomi-plan @ high
en
0
0
100
100
100
100
100
0
100
67
100
—
100
100
100
100
67
100
100
0
100
100
100
100
muse-glimmer-ctx100k @ off
ru
0
0
100
100
100
100
100
0
100
20
100
0
100
100
100
40
40
80
100
0
100
100
100
100
muse-glimmer-ctx100k @ low
ru
0
0
100
60
100
100
100
60
100
20
100
0
100
100
100
20
100
100
100
0
100
100
100
100
muse-glimmer-ctx100k @ high
ru
0
0
100
80
100
100
100
0
100
40
100
20
100
100
100
40
40
100
100
0
40
100
100
100
muse-glimmer-ctx100k @ off
en
0
0
100
100
100
100
100
40
100
60
60
—
80
100
100
100
100
100
100
0
60
100
100
100
muse-glimmer-ctx100k @ low
en
0
0
100
100
100
100
100
80
100
40
60
—
100
100
100
100
100
100
100
0
100
100
100
100
muse-glimmer-ctx100k @ high
en
0
0
100
100
100
100
100
0
100
80
100
—
100
100
100
80
100
100
100
0
20
100
100
100
orcarouter-Qwen3.8-27B-Uncensored-ctx100k @ off
ru
0
0
100
100
100
100
100
100
100
80
0
0
100
100
100
100
80
80
100
0
80
100
100
100
orcarouter-Qwen3.8-27B-Uncensored-ctx100k @ on
ru
0
0
100
100
100
100
100
40
100
40
40
0
80
100
100
100
80
100
100
0
100
100
100
80
orcarouter-Qwen3.8-27B-Uncensored-ctx100k @ off
en
0
0
100
100
100
100
100
100
100
60
60
—
80
100
100
60
80
60
100
20
100
100
100
60
orcarouter-Qwen3.8-27B-Uncensored-ctx100k @ on
en
0
0
100
100
100
100
100
60
100
80
100
—
80
100
100
100
100
60
100
0
100
100
100
60
ornith-1.5-35b-ctx100k @ off
ru
0
0
100
100
100
100
100
100
100
20
0
0
100
100
100
100
0
80
100
0
100
100
100
100
ornith-1.5-35b-ctx100k @ on
ru
0
0
60
60
60
60
60
20
60
0
60
0
60
60
60
60
20
40
60
0
40
60
60
60
ornith-1.5-35b-ctx100k @ off
en
0
20
80
80
40
80
80
20
80
40
20
—
80
80
80
80
80
40
80
0
80
80
80
80
ornith-1.5-35b-ctx100k @ on
en
0
20
100
100
100
100
100
20
100
20
100
—
100
100
100
100
100
100
100
0
60
100
100
40
ornith-1.5-9b @ off
ru
0
0
40
100
20
80
80
80
80
100
0
0
80
60
100
80
80
80
20
0
20
40
80
40
ornith-1.5-9b @ on
ru
0
0
100
60
100
100
100
0
100
0
40
0
80
100
100
100
80
80
100
0
40
80
100
20
ornith-1.5-9b @ off
en
0
0
100
60
80
100
40
40
20
100
0
—
20
40
60
0
100
60
100
0
40
40
20
100
ornith-1.5-9b @ on
en
0
20
80
20
80
80
80
0
80
0
20
—
40
80
80
80
80
80
80
0
80
80
80
40
qwen3.8-27b-pi-100k @ off
ru
0
0
100
80
100
100
80
80
80
60
0
0
80
100
100
80
80
60
100
0
100
80
100
100
qwen3.8-27b-pi-100k @ low
ru
0
0
100
100
100
100
100
40
100
80
60
0
100
100
100
100
100
100
100
0
100
100
100
80
qwen3.8-27b-pi-100k @ medium
ru
0
0
100
100
100
100
100
80
100
80
0
0
100
100
100
80
60
80
100
0
100
100
100
100
qwen3.8-27b-pi-100k @ xhigh
ru
0
0
100
100
100
100
100
0
100
40
20
0
100
100
100
100
20
100
100
0
100
100
100
80
qwen3.8-27b-pi-100k @ off
en
0
0
100
100
100
100
100
100
100
60
40
—
100
100
100
40
100
100
100
20
100
100
100
100
qwen3.8-27b-pi-100k @ low
en
0
0
100
80
100
100
100
100
100
40
80
—
100
100
100
100
100
100
100
0
100
100
100
100
qwen3.8-27b-pi-100k @ medium
en
0
0
100
100
100
100
100
80
100
60
80
—
100
100
100
100
100
100
100
20
100
100
100
100
qwen3.8-27b-pi-100k @ xhigh
en
0
0
100
100
100
100
100
20
100
80
100
—
100
100
100
100
80
100
100
0
100
100
100
80
qwen4-max @ off
ru
0
0
100
100
100
100
100
50
100
0
50
0
100
100
100
100
0
100
100
0
0
100
100
100
qwen4-max @ low
ru
0
0
100
0
100
100
100
0
100
0
50
0
100
100
100
0
0
100
100
0
0
100
100
100
qwen4-max @ high
ru
0
0
100
0
100
100
100
0
100
0
100
50
100
100
100
50
0
100
100
0
0
100
100
100
qwen4-max @ xhigh
ru
0
0
100
100
100
100
100
50
100
0
0
0
100
100
100
50
0
100
100
0
0
100
100
100
qwen4-max @ off
en
0
0
100
50
100
100
50
100
100
50
100
—
100
100
100
100
100
100
100
0
0
100
100
100
qwen4-max @ low
en
0
0
100
0
100
100
100
50
100
0
100
—
100
100
100
100
50
100
100
0
50
100
100
100
qwen4-max @ high
en
0
50
100
0
100
100
100
50
50
0
100
—
100
100
100
100
50
100
100
0
0
100
100
100
qwen4-max @ xhigh
en
0
0
100
50
100
100
100
100
100
0
100
—
100
100
100
100
100
100
100
0
0
100
100
100
qwen4-max-preview @ off
ru
0
0
100
100
100
100
100
0
100
0
100
0
100
100
100
100
100
100
100
0
0
100
100
100
qwen4-max-preview @ low
ru
0
0
100
0
100
100
100
50
100
0
50
0
100
100
100
50
0
100
100
0
0
100
100
100
qwen4-max-preview @ medium
ru
0
0
100
0
100
100
100
0
100
0
50
0
100
100
100
50
0
100
100
0
0
100
100
100
qwen4-max-preview @ xhigh
ru
0
0
100
50
100
100
100
100
100
0
50
0
100
100
100
100
50
100
100
0
0
100
100
100
qwen4-max-preview @ high
ru
0
0
100
0
100
100
100
50
100
0
100
0
100
100
100
50
0
100
100
0
0
100
100
100
qwen4-max-preview @ off
en
0
0
100
100
100
100
100
100
100
50
100
—
100
100
100
100
100
100
100
0
0
100
100
100
qwen4-max-preview @ low
en
0
0
100
0
100
100
100
0
100
0
100
—
100
100
100
100
50
100
100
0
0
100
100
100
qwen4-max-preview @ medium
en
0
0
100
0
100
100
100
0
100
0
0
—
100
100
100
100
50
100
100
0
0
100
100
100
qwen4-max-preview @ xhigh
en
0
0
100
0
100
100
100
0
100
0
100
—
100
100
100
100
50
100
100
0
0
100
100
100
qwen4-max-preview @ high
en
0
0
100
0
100
100
100
0
100
0
50
—
100
100
100
100
50
100
100
0
0
100
100
100
Язык: ru vs en (влияние языка на точность и устойчивость)
лучший уровень модели на каждом языке; Δ = en% − ru% (в п.п.; множества вопросов разные: 24/23). По умолчанию — по Δ, лучшие сверху; клик по заголовку — сортировка по столбцу, повторный клик — в обратную сторону
модель
ru: лучший балл
ru %
en: лучший балл
en %
Δ п.п.
стабильность ru
стабильность en
bonsai-2-27b
17.4 (16–19) @ medium
72%
18.2 (17–19) @ xhigh
79%
+6.6
5 уник., попарно 0%
5 уник., попарно 0%
clef
18.0 (18–18) @ decision
75%
19.0 (19–19) @ decision
83%
+7.6
1 уник., попарно 100%
1 уник., попарно 100%
clef-flash
15.0 (15–15) @ decision
62%
17.0 (17–17) @ decision
74%
+11.4
1 уник., попарно 100%
1 уник., попарно 100%
deepseek-flash
17.4 (16–19) @ high
72%
19.0 (18–20) @ low
83%
+10.1
5 уник., попарно 0%
5 уник., попарно 0%
gemma4-26b-pi-100k
18.4 (18–19) @ on
77%
18.6 (18–19) @ on
81%
+4.2
4 уник., попарно 10%
3 уник., попарно 30%
gemma4-31b-it-qat-pi-100k
18.0 (17–19) @ off
75%
18.0 (17–19) @ off
78%
+3.3
5 уник., попарно 0%
4 уник., попарно 10%
gemma4-e2b-ctx100k
16.8 (15–18) @ on
70%
16.4 (16–17) @ on
71%
+1.3
5 уник., попарно 0%
5 уник., попарно 0%
glm-5.3
18.4 (17–19) @ low
77%
18.8 (18–20) @ high
82%
+5.1
5 уник., попарно 0%
5 уник., попарно 0%
glm-5.3-flash
17.4 (17–19) @ high
72%
19.4 (18–20) @ max
84%
+11.8
5 уник., попарно 0%
5 уник., попарно 0%
huihui-ai-pi-100k
18.4 (17–20) @ off
77%
18.8 (18–19) @ xhigh
82%
+5.1
5 уник., попарно 0%
5 уник., попарно 0%
kimi-k3.1-pro
17.3 (17–18) @ low
72%
20.0 (19–21) @ low
87%
+14.7
3 уник., попарно 0%
3 уник., попарно 0%
medgemma-27b-ctx100k
17.8 (17–18) @ off
74%
16.0 (14–18) @ off
70%
-4.6
5 уник., попарно 0%
5 уник., попарно 0%
mimo-v2.6-flash-xiaomi-plan
16.3 (16–17) @ off
68%
18.3 (18–19) @ low
80%
+11.7
3 уник., попарно 0%
3 уник., попарно 0%
mimo-v2.6-pro-xiaomi-plan
19.3 (19–20) @ off
81%
19.0 (19–19) @ medium
83%
+2.1
3 уник., попарно 0%
3 уник., попарно 0%
muse-glimmer-ctx100k
17.6 (16–19) @ low
73%
18.8 (18–20) @ low
82%
+8.4
5 уник., попарно 0%
5 уник., попарно 0%
orcarouter-Qwen3.8-27B-Uncensored-ctx100k
18.2 (16–19) @ off
76%
18.4 (17–20) @ on
80%
+4.2
5 уник., попарно 0%
5 уник., попарно 0%
ornith-1.5-35b-ctx100k
17.0 (16–18) @ off
71%
17.6 (16–19) @ on
77%
+5.7
5 уник., попарно 0%
5 уник., попарно 0%
ornith-1.5-9b
14.8 (14–16) @ on
62%
12.6 (0–18) @ on
55%
-6.9
5 уник., попарно 0%
5 уник., попарно 0%
qwen3.8-27b-pi-100k
18.6 (18–19) @ low
78%
19.4 (19–20) @ medium
84%
+6.8
5 уник., попарно 0%
5 уник., попарно 0%
qwen4-max
16.0 (15–17) @ off
67%
17.5 (16–19) @ off
76%
+9.4
2 уник., попарно 0%
2 уник., попарно 0%
qwen4-max-preview
17.0 (17–17) @ off
71%
18.5 (18–19) @ off
80%
+9.6
2 уник., попарно 0%
2 уник., попарно 0%
средняя Δ по моделям с обоими языками: +6.1 п.п. (en лучше)
Модели × языки × уровни
bonsai-2-27b
язык
уровень
балл
%
Δ к первому уровню языка
прогонов
стабильность
ru
off
15.8 (14–17)
66%
—
5
5 уник., попарно 0%
ru
low
16.2 (16–17)
68%
+0.4
5
5 уник., попарно 0%
ru
medium
17.4 (16–19)
72%
+1.6
5
5 уник., попарно 0%
ru
xhigh
16.4 (16–18)
68%
+0.6
5
5 уник., попарно 0%
en
off
16.6 (15–18)
72%
—
5
5 уник., попарно 0%
en
low
18.0 (17–19)
78%
+1.4
5
5 уник., попарно 0%
en
medium
17.8 (17–19)
77%
+1.2
5
5 уник., попарно 0%
en
xhigh
18.2 (17–19)
79%
+1.6
5
5 уник., попарно 0%
clef
язык
уровень
балл
%
Δ к первому уровню языка
прогонов
стабильность
ru
decision
18.0 (18–18)
75%
—
6
1 уник., попарно 100%
en
decision
19.0 (19–19)
83%
—
5
1 уник., попарно 100%
clef-flash
язык
уровень
балл
%
Δ к первому уровню языка
прогонов
стабильность
ru
decision
15.0 (15–15)
62%
—
5
1 уник., попарно 100%
en
decision
17.0 (17–17)
74%
—
5
1 уник., попарно 100%
deepseek-flash
язык
уровень
балл
%
Δ к первому уровню языка
прогонов
стабильность
ru
low
15.6 (14–16)
65%
—
5
5 уник., попарно 0%
ru
high
17.4 (16–19)
72%
+1.8
5
5 уник., попарно 0%
en
low
19.0 (18–20)
83%
—
5
5 уник., попарно 0%
en
high
18.4 (16–20)
80%
-0.6
5
5 уник., попарно 0%
gemma4-26b-pi-100k
язык
уровень
балл
%
Δ к первому уровню языка
прогонов
стабильность
ru
off
18.0 (17–19)
75%
—
5
5 уник., попарно 0%
ru
on
18.4 (18–19)
77%
+0.4
5
4 уник., попарно 10%
en
off
18.0 (18–18)
78%
—
5
3 уник., попарно 20%
en
on
18.6 (18–19)
81%
+0.6
5
3 уник., попарно 30%
gemma4-31b-it-qat-pi-100k
язык
уровень
балл
%
Δ к первому уровню языка
прогонов
стабильность
ru
off
18.0 (17–19)
75%
—
5
5 уник., попарно 0%
ru
on
16.8 (15–18)
70%
-1.2
5
5 уник., попарно 0%
en
off
18.0 (17–19)
78%
—
5
4 уник., попарно 10%
en
on
18.0 (17–19)
78%
+0.0
5
4 уник., попарно 10%
gemma4-e2b-ctx100k
язык
уровень
балл
%
Δ к первому уровню языка
прогонов
стабильность
ru
off
10.6 (9–12)
44%
—
5
5 уник., попарно 0%
ru
on
16.8 (15–18)
70%
+6.2
5
5 уник., попарно 0%
en
off
12.0 (11–13)
52%
—
5
4 уник., попарно 10%
en
on
16.4 (16–17)
71%
+4.4
5
5 уник., попарно 0%
glm-5.3
язык
уровень
балл
%
Δ к первому уровню языка
прогонов
стабильность
ru
low
18.4 (17–19)
77%
—
5
5 уник., попарно 0%
ru
high
17.6 (16–19)
73%
-0.8
5
5 уник., попарно 0%
ru
max
16.8 (13–18)
70%
-1.6
5
5 уник., попарно 0%
en
low
17.6 (16–19)
77%
—
5
5 уник., попарно 0%
en
high
18.8 (18–20)
82%
+1.2
5
5 уник., попарно 0%
en
max
18.2 (15–20)
79%
+0.6
5
5 уник., попарно 0%
glm-5.3-flash
язык
уровень
балл
%
Δ к первому уровню языка
прогонов
стабильность
ru
low
15.4 (13–17)
64%
—
5
5 уник., попарно 0%
ru
high
17.4 (17–19)
72%
+2.0
5
5 уник., попарно 0%
ru
max
16.8 (15–19)
70%
+1.4
5
5 уник., попарно 0%
en
low
17.4 (15–19)
76%
—
5
5 уник., попарно 0%
en
high
19.2 (17–21)
83%
+1.8
5
5 уник., попарно 0%
en
max
19.4 (18–20)
84%
+2.0
5
5 уник., попарно 0%
huihui-ai-pi-100k
язык
уровень
балл
%
Δ к первому уровню языка
прогонов
стабильность
ru
off
18.4 (17–20)
77%
—
5
5 уник., попарно 0%
ru
low
17.4 (17–18)
72%
-1.0
5
5 уник., попарно 0%
ru
medium
17.8 (17–19)
74%
-0.6
5
5 уник., попарно 0%
ru
xhigh
16.6 (16–17)
69%
-1.8
5
4 уник., попарно 10%
en
off
18.0 (15–20)
78%
—
5
5 уник., попарно 0%
en
low
17.4 (16–19)
76%
-0.6
5
5 уник., попарно 0%
en
medium
18.2 (17–19)
79%
+0.2
5
5 уник., попарно 0%
en
xhigh
18.8 (18–19)
82%
+0.8
5
5 уник., попарно 0%
kimi-k3.1-pro
язык
уровень
балл
%
Δ к первому уровню языка
прогонов
стабильность
ru
low
17.3 (17–18)
72%
—
3
3 уник., попарно 0%
ru
high
17.0 (16–19)
71%
-0.3
3
3 уник., попарно 0%
ru
max
17.3 (17–18)
72%
+0.0
3
3 уник., попарно 0%
en
low
20.0 (19–21)
87%
—
3
3 уник., попарно 0%
en
high
19.0 (18–20)
83%
-1.0
3
3 уник., попарно 0%
en
max
18.3 (17–19)
80%
-1.7
3
3 уник., попарно 0%
medgemma-27b-ctx100k
язык
уровень
балл
%
Δ к первому уровню языка
прогонов
стабильность
ru
off
17.8 (17–18)
74%
—
5
5 уник., попарно 0%
en
off
16.0 (14–18)
70%
—
5
5 уник., попарно 0%
mimo-v2.6-flash-xiaomi-plan
язык
уровень
балл
%
Δ к первому уровню языка
прогонов
стабильность
ru
off
16.3 (16–17)
68%
—
3
3 уник., попарно 0%
ru
low
15.0 (15–15)
62%
-1.3
3
3 уник., попарно 0%
ru
medium
15.7 (15–16)
65%
-0.7
3
3 уник., попарно 0%
ru
high
16.3 (15–18)
68%
+0.0
3
3 уник., попарно 0%
en
off
17.3 (16–18)
75%
—
3
3 уник., попарно 0%
en
low
18.3 (18–19)
80%
+1.0
3
3 уник., попарно 0%
en
medium
18.3 (18–19)
80%
+1.0
3
3 уник., попарно 0%
en
high
18.3 (18–19)
80%
+1.0
3
3 уник., попарно 0%
mimo-v2.6-pro-xiaomi-plan
язык
уровень
балл
%
Δ к первому уровню языка
прогонов
стабильность
ru
off
19.3 (19–20)
81%
—
3
3 уник., попарно 0%
ru
low
16.3 (16–17)
68%
-3.0
3
3 уник., попарно 0%
ru
medium
17.3 (16–19)
72%
-2.0
3
3 уник., попарно 0%
ru
high
16.7 (16–17)
69%
-2.7
3
3 уник., попарно 0%
en
off
17.0 (15–19)
74%
—
3
3 уник., попарно 0%
en
low
18.7 (18–19)
81%
+1.7
3
3 уник., попарно 0%
en
medium
19.0 (19–19)
83%
+2.0
3
3 уник., попарно 0%
en
high
18.3 (17–19)
80%
+1.3
3
3 уник., попарно 0%
muse-glimmer-ctx100k
язык
уровень
балл
%
Δ к первому уровню языка
прогонов
стабильность
ru
off
16.8 (16–18)
70%
—
5
5 уник., попарно 0%
ru
low
17.6 (16–19)
73%
+0.8
5
5 уник., попарно 0%
ru
high
16.6 (15–18)
69%
-0.2
5
5 уник., попарно 0%
en
off
18.0 (16–19)
78%
—
5
5 уник., попарно 0%
en
low
18.8 (18–20)
82%
+0.8
5
5 уник., попарно 0%
en
high
17.8 (16–19)
77%
-0.2
5
4 уник., попарно 10%
orcarouter-Qwen3.8-27B-Uncensored-ctx100k
язык
уровень
балл
%
Δ к первому уровню языка
прогонов
стабильность
ru
off
18.2 (16–19)
76%
—
5
5 уник., попарно 0%
ru
on
17.6 (15–19)
73%
-0.6
5
5 уник., попарно 0%
en
off
17.8 (16–19)
77%
—
5
5 уник., попарно 0%
en
on
18.4 (17–20)
80%
+0.6
5
5 уник., попарно 0%
ornith-1.5-35b-ctx100k
язык
уровень
балл
%
Δ к первому уровню языка
прогонов
стабильность
ru
off
17.0 (16–18)
71%
—
5
5 уник., попарно 0%
ru
on
10.2 (0–18)
42%
-6.8
5
4 уник., попарно 10%
en
off
13.8 (0–18)
60%
—
5
5 уник., попарно 0%
en
on
17.6 (16–19)
77%
+3.8
5
5 уник., попарно 0%
ornith-1.5-9b
язык
уровень
балл
%
Δ к первому уровню языка
прогонов
стабильность
ru
off
12.6 (9–16)
52%
—
5
5 уник., попарно 0%
ru
on
14.8 (14–16)
62%
+2.2
5
5 уник., попарно 0%
en
off
11.2 (9–14)
49%
—
5
5 уник., попарно 0%
en
on
12.6 (0–18)
55%
+1.4
5
5 уник., попарно 0%
qwen3.8-27b-pi-100k
язык
уровень
балл
%
Δ к первому уровню языка
прогонов
стабильность
ru
off
16.6 (10–19)
69%
—
5
5 уник., попарно 0%
ru
low
18.6 (18–19)
78%
+2.0
5
5 уник., попарно 0%
ru
medium
17.8 (17–19)
74%
+1.2
5
5 уник., попарно 0%
ru
xhigh
16.6 (15–19)
69%
+0.0
5
4 уник., попарно 10%
en
off
18.6 (18–19)
81%
—
5
5 уник., попарно 0%
en
low
19.0 (18–20)
83%
+0.4
5
5 уник., попарно 0%
en
medium
19.4 (19–20)
84%
+0.8
5
5 уник., попарно 0%
en
xhigh
18.6 (18–19)
81%
+0.0
5
4 уник., попарно 10%
qwen4-max
язык
уровень
балл
%
Δ к первому уровню языка
прогонов
стабильность
ru
off
16.0 (15–17)
67%
—
2
2 уник., попарно 0%
ru
low
13.5 (13–14)
56%
-2.5
2
2 уник., попарно 0%
ru
high
15.0 (14–16)
62%
-1.0
2
2 уник., попарно 0%
ru
xhigh
15.0 (15–15)
62%
-1.0
2
2 уник., попарно 0%
en
off
17.5 (16–19)
76%
—
2
2 уник., попарно 0%
en
low
16.5 (15–18)
72%
-1.0
2
2 уник., попарно 0%
en
high
16.0 (15–17)
70%
-1.5
2
2 уник., попарно 0%
en
xhigh
17.5 (17–18)
76%
+0.0
2
2 уник., попарно 0%
qwen4-max-preview
язык
уровень
балл
%
Δ к первому уровню языка
прогонов
стабильность
ru
off
17.0 (17–17)
71%
—
2
2 уник., попарно 0%
ru
low
14.5 (14–15)
60%
-2.5
2
2 уник., попарно 0%
ru
medium
14.0 (14–14)
58%
-3.0
2
2 уник., попарно 0%
ru
xhigh
16.5 (15–18)
69%
-0.5
2
2 уник., попарно 0%
ru
high
15.0 (14–16)
62%
-2.0
2
2 уник., попарно 0%
en
off
18.5 (18–19)
80%
—
2
2 уник., попарно 0%
en
low
15.5 (15–16)
67%
-3.0
2
2 уник., попарно 0%
en
medium
14.5 (14–15)
63%
-4.0
2
2 уник., попарно 0%
en
xhigh
15.5 (15–16)
67%
-3.0
2
2 уник., попарно 0%
en
high
15.0 (15–15)
65%
-3.5
2
2 уник., попарно 0%
Проблемные вопросы (модели массово не отвечают)
включены вопросы с суммарной долей верных <50% (ru + en вместе); «решили все» — группы, ответившие верно во всех своих прогонах; распределение — по всем прогонам языка
Q1 (en 1). Какие профили совместимы в социальном плане? Эталон: ru «Два желтых» · en «Two Yellows» Верных: ru 5/242 (2%) · en 10/241 (4%) Решили все свои прогоны: ru — clef-flash ru@decision · en — clef en@decision; clef-flash en@decision Ответы ru: 26% «жёлтый и зелёный», 19% «Жёлтый + Зелёный», 4% «Красный и жёлтый; зелёный и синий», 4% «Красный и Жёлтый», прочее 45% Ответы en: 36% «Yellow and Green», 14% «Red and Yellow», 9% «Yellow + Green», 4% «Two Yellows», прочее 35%
Q20 (en 19). Какой профиль быстрее всех воспримет новую идею? Эталон: ru «Красный» · en «Red» Верных: ru 8/242 (3%) · en 8/241 (3%) Решили все свои прогоны: ru — никто · en — никто Ответы ru: 87% «Жёлтый», 3% «красный», 0% «Жёлтый (I)», 0% «∅», прочее 7% Ответы en: 79% «Yellow», 3% «Red», 2% «Green», 2% «Blue», прочее 12%
Q2 (en 2). Какие профили совместимы в совместной работе? Эталон: ru «Зеленый и любой другой» · en «Green with anyone else» Верных: ru 11/242 (5%) · en 21/241 (9%) Решили все свои прогоны: ru — clef ru@decision; clef-flash ru@decision · en — clef en@decision; clef-flash en@decision Ответы ru: 18% «красный и синий», 14% «Красный + Синий», 4% «Зеленый и любой другой», 3% «синий и зелёный», прочее 58% Ответы en: 35% «Red and Blue», 8% «Red + Blue», 4% «Red and Green», 4% «No single answer», прочее 46%
Q12 (en —). Какой профиль болезненнее всего реагирует на личную критику? Эталон: ru «Желтый» Верных: ru 43/242 (18%) Решили все свои прогоны: ru — gemma4-31b-it-qat-pi-100k ru@off; glm-5.3-flash ru@high · en — нет прогонов Ответы ru: 49% «Зелёный», 16% «синий», 15% «Жёлтый», 8% «красный», прочее 10%
Q10 (en 10). Какой профиль охотнее всех апробирует новые технологии или приемы, если это ускорит работу? Эталон: ru «Желтый» · en «Yellow» Верных: ru 64/242 (26%) · en 153/241 (63%) Решили все свои прогоны: ru — clef-flash ru@decision; gemma4-26b-pi-100k ru@off; gemma4-e2b-ctx100k ru@off; ornith-1.5-9b ru@off · en — clef-flash en@decision; gemma4-26b-pi-100k en@off; gemma4-31b-it-qat-pi-100k en@off; gemma4-e2b-ctx100k en@off; glm-5.3-flash en@max; medgemma-27b-ctx100k en@off; mimo-v2.6-flash-xiaomi-plan en@off; mimo-v2.6-flash-xiaomi-plan en@medium; mimo-v2.6-pro-xiaomi-plan en@off; mimo-v2.6-pro-xiaomi-plan en@medium; ornith-1.5-9b en@off Ответы ru: 60% «Красный», 26% «жёлтый», 1% «Красный, Жёлтый», 1% «Красный и жёлтый», прочее 10% Ответы en: 58% «Yellow», 25% «Red», 0% «Red and Yellow», 0% «Yellow — spontaneous, creative and open to experimenting wit», прочее 14%
Q8 (en 8). Какой профиль всегда приходит вовремя и в этом плане на него можно положиться? Эталон: ru «Синий» · en «Blue» Верных: ru 107/242 (44%) · en 128/241 (53%) Решили все свои прогоны: ru — bonsai-2-27b ru@off; clef ru@decision; clef-flash ru@decision; gemma4-e2b-ctx100k ru@off; huihui-ai-pi-100k ru@off; mimo-v2.6-flash-xiaomi-plan ru@off; orcarouter-Qwen3.8-27B-Uncensored-ctx100k ru@off; ornith-1.5-35b-ctx100k ru@off; qwen4-max-preview ru@xhigh · en — clef en@decision; clef-flash en@decision; deepseek-flash en@low; gemma4-26b-pi-100k en@off; gemma4-26b-pi-100k en@on; gemma4-31b-it-qat-pi-100k en@off; gemma4-31b-it-qat-pi-100k en@on; gemma4-e2b-ctx100k en@off; huihui-ai-pi-100k en@off; huihui-ai-pi-100k en@medium; kimi-k3.1-pro en@low; orcarouter-Qwen3.8-27B-Uncensored-ctx100k en@off; qwen3.8-27b-pi-100k en@off; qwen3.8-27b-pi-100k en@low; qwen4-max en@off; qwen4-max en@xhigh; qwen4-max-preview en@off Ответы ru: 43% «Синий», 40% «Зелёный», 1% «Синий или Зелёный», 1% «синий (также зелёный)», прочее 13% Ответы en: 51% «Blue», 31% «Green», 1% «Red», 0% «S», прочее 15%
Флаги: unparsed — ответ не распознан (это не «неверный ответ»); skipped — вопроса нет в JSON; ambiguous — распознано 2+ профиля; near — верный профиль без нужного уточнения. Стабильность — уникальные наборы ответов и попарное совпадение прогонов группы. Ссылки — папки прогонов models/<модель>/quiz[-en]/.