← Все лидерборды

Знание модели поведения DISC

24 вопроса (ru) / 23 вопроса (en) по методологии DISC/ 485 прогонов. Сформировано: 2026-11-20 05:50 UTC.
Примечание. (1) Межформатная — тонкость для LLM: в книге каждый вопрос дан с вариантами ответа. Decision-модели (clef) получают анкету как в книге — варианты видны (утверждения-пробы «правильный ответ — „X“, argmax): задача — выбор из видимых кандидатов. Генеративные LLM получают только вопросы, без вариантов: задача — воспроизведение (определить профиль самому) — условия строже. Баллы между форматами сравнивать с этой разницей; чистые сравнения — внутри формата. (2) Межъязыковая: ru — 24 вопроса, en — 23 (в английском оригинале нет вопроса про болезненную реакцию на критику), поэтому сравниваем проценты, а не сырые баллы.

Методика

  1. Материал. Анкета по методологии DISC — 24 вопроса (ru) / 23 (en); вопросы задаются без вариантов — модель называет профиль, сочетание или «нет однозначного ответа». Источник — блиц-тест из книги Томаса Эриксона: ru — «Кругом одни идиоты. Если вам так кажется, возможно, вам не кажется» (Эксмо, 2014); en — «Surrounded by Idiots» (английское издание, Macmillan/Ebury, 2019). Эталонные ответы сверены с разделом ответов книги (гл. 20) — снимки с правильными ответами: ru — quiz/reference/quiz-with-key.md · en — quiz-en/reference/quiz-with-key.md. Источник анкеты и эталонных ответов в промпте не упоминается.
  2. Прогон и запрос. Модель отвечает на все вопросы одним ответом (JSON «номер → ответ»), по 5 прогонов на модель×уровень (часть флагманов-облаков — по 2); сбойные прогоны (транспортные ошибки) в метриках не участвуют.
    Запрос: системный промпт отсутствует — один user-месседж с полным текстом задания (интро + правила формата + вопросы, дословно из prompts/prompt.json). Параметры: stream false, num_ctx 65536, num_predict 32768, ручка мышления уровня (think / reasoning_effort / enable_thinking false — по API провайдера), seed не задаётся; остальное — дефолты модели. Для kimi (подписка Kimi coding) — тот же user-промпт без системного. Для clef — decision-протокол /v1/systemone (см. оговорку выше).
    POST /api/chat
    {
      "model": "<тег модели>",
      "messages": [
        {
          "role": "user",
          "content": "<пользовательский промпт — см. ниже>"
        }
      ],
      "stream": false,
      "keep_alive": "10m",
      "options": {
        "num_ctx": 65536,
        "num_predict": 32768
      },
      "think": "<off | low | medium | high | xhigh — по модели>"
    }
    Пользовательские промпты (дословно):
    • ru — quiz/prompts/prompt.json:
      показать текст
      В модели DISC четыре поведенческих профиля, названных цветами: красный, жёлтый, зелёный и синий. Проверьте себя: насколько хорошо вы представляете, как действуют и поступают люди разных профилей.
      
      Ниже 24 вопроса. На каждый ответьте, назвав профиль (цвет), который лучше всего подходит; если ответ — сочетание профилей, назовите сочетание; если однозначного ответа нет, так и напишите.
      
      Ответьте строго JSON-ом — объект с ответами по номерам вопросов, без текста вне JSON:
      {"1": "<ответ на вопрос 1>", "2": "<ответ на вопрос 2>", "3": "<ответ на вопрос 3>", …, "24": "<ответ на вопрос 24>"}
      
      Вопросы:
      1. Какие профили совместимы в социальном плане?
      2. Какие профили совместимы в совместной работе?
      3. Какой профиль всегда хотел бы возглавить проект?
      4. Какой профиль окажется лучшим хирургом?
      5. Какой профиль больше всех упивается ролью оратора?
      6. Какой профиль чаще всего знает, где он сохранил электронное письмо от шефа?
      7. Какой профиль стремится провести побольше тестов или собрать побольше информации перед тем, как принять решение?
      8. Какой профиль всегда приходит вовремя и в этом плане на него можно положиться?
      9. Какой профиль раз за разом не следует правилам только ради того, чтобы работа была сделана?
      10. Какой профиль охотнее всех апробирует новые технологии или приемы, если это ускорит работу?
      11. Какой профиль дольше всех помнит критику в свой адрес?
      12. Какой профиль болезненнее всего реагирует на личную критику?
      13. Какой профиль менее всех организован, но знает, где может получить нужную информацию?
      14. Какой профиль хочет всегда принимать решения?
      15. Какой профиль охотнее всего следует последней моде?
      16. Какой профиль охотнее берется за сложные задачи?
      17. Какой профиль легко судит других?
      18. Комбинация каких профилей образует самую успешную команду?
      19. Какой профиль вероятнее всего окажется самым разговорчивым?
      20. Какой профиль быстрее всех воспримет новую идею?
      21. Какой профиль мог бы поручить задание другим, но все же выполнит его сам?
      22. Какой профиль окажется лучшим слушателем?
      23. Какой профиль не пропустит ни малейшего пункта в инструкции?
      
    • en — quiz-en/prompts/prompt.json:
      показать текст
      EN (дословно):
      A quick little quiz: how well have you learned the DISC model?
      
      DISC describes four behavioral profiles named after colors: Red, Yellow, Green and Blue. Test yourself: how well do you understand how people of different profiles act and behave?
      
      Below are 23 questions. For each question, name the profile (color) that fits best; if the answer is a combination of profiles, name the combination; if there is no single answer, say so.
      
      Answer strictly in JSON — an object mapping question numbers to your answers, no text outside the JSON:
      {"1": "<your answer to question 1>", "2": "<your answer to question 2>", "3": "<your answer to question 3>", ..., "23": "<your answer to question 23>"}
      
      Questions:
      1. Which combination of profiles would naturally agree on a social level?
      2. Which combination of profiles naturally work well together?
      3. Which profile will always prefer to be the head of a project?
      4. Which profile would make the best surgeon?
      5. Which person would enjoy giving a speech the most?
      6. Which person would know exactly where he saved that email from his boss?
      7. Which person would want to do more tests or get more information before making a decision?
      8. Which person can you always rely on to arrive on time?
      9. Which person doesn’t follow the rulebook to get a job done?
      10. Which person would be the most willing to try something new to get the job done?
      11. Which person will remember personal criticism the longest?
      12. Which person is the least organized but knows exactly where to go to get what he needs?
      13. Which profile always wants to make decisions?
      14. Which profile wears the latest fashions?
      15. Which profile would enjoy new challenges the most?
      16. Which profile would be the quickest to judge other people?
      17. Which combination of profiles would form the best team?
      18. Which profile will probably talk the most?
      19. Which profile would assimilate new ideas the quickest?
      20. Which profile would delegate a task but then still do it himself?
      21. Which profile is the best listener?
      22. Which profile wouldn’t miss the last step of the instructions?
      23. Which profile is most common in your social circle?
  3. Уровни мышления. Каждый уровень, поддерживаемый моделью.
  4. Скоринг. Машинный, без судей: сопоставление ответа с эталоном через словарь синонимов и цветовых токенов. «Не распознано» ≠ «неверно» (флаги unparsed/skipped — отдельно).
  5. Языки. ru и en анкеты — из оригинальных редакций (не перевод друг друга); вопросы сопоставлены 1:1, сравнение по процентам. Decision-модели (clef) отвечают argmax по вариантам — см. оговорку выше.
Подробно: quiz/README.md · quiz-en/README.md

Сводная таблица

по умолчанию — по правильности (%), лучшие сверху; клик по заголовку — сортировка по столбцу, повторный клик — в обратную сторону. В скобках — балл: среднее число верных ответов из 24 (ru) / 23 (en); min–max — разброс баллов по прогонам; «—» в токенах у kimi — шим не сохранял usage из ответа API (исправлено; у прежних прогонов токенов нет).
модельуровеньязыкпрогоновmin–max% (балл)стабильностьjson_okunparsedskippedтокенывремя, с
kimi-k3.1-prolowen319–2187% (20.0)3 уник., попарно 0%100%00—22.2
glm-5.3-flashmaxen518–2084% (19.4)5 уник., попарно 0%100%006547141.2
qwen3.8-27b-pi-100kmediumen519–2084% (19.4)5 уник., попарно 0%100%00349119.6
glm-5.3-flashhighen517–2183% (19.2)5 уник., попарно 0%100%005914128.8
clefdecisionen519–1983% (19.0)1 уник., попарно 100%—00112013.9
deepseek-flashlowen518–2083% (19.0)5 уник., попарно 0%100%00553233.1
kimi-k3.1-prohighen318–2083% (19.0)3 уник., попарно 0%100%00—147.7
mimo-v2.6-pro-xiaomi-planmediumen319–1983% (19.0)3 уник., попарно 0%100%0015929321.2
qwen3.8-27b-pi-100klowen518–2083% (19.0)5 уник., попарно 0%100%00309916.4
glm-5.3highen518–2082% (18.8)5 уник., попарно 0%100%00407056.9
huihui-ai-pi-100kxhighen518–1982% (18.8)5 уник., попарно 0%100%0013581103.9
muse-glimmer-ctx100klowen518–2082% (18.8)5 уник., попарно 0%100%0010166.5
mimo-v2.6-pro-xiaomi-planlowen318–1981% (18.7)3 уник., попарно 0%100%0014522277.2
gemma4-26b-pi-100konen518–1981% (18.6)3 уник., попарно 30%100%00694820.9
qwen3.8-27b-pi-100koffen518–1981% (18.6)5 уник., попарно 0%100%007311.0
qwen3.8-27b-pi-100kxhighen518–1981% (18.6)4 уник., попарно 10%100%001148186.7
mimo-v2.6-pro-xiaomi-planoffru319–2081% (19.3)3 уник., попарно 0%100%0010354.7
qwen4-max-previewoffen218–1980% (18.5)2 уник., попарно 0%100%007205.5
deepseek-flashhighen516–2080% (18.4)5 уник., попарно 0%100%0017649147.0
orcarouter-Qwen3.8-27B-Uncensored-ctx100konen517–2080% (18.4)5 уник., попарно 0%100%00386042.3
kimi-k3.1-promaxen317–1980% (18.3)3 уник., попарно 0%100%00—317.2
mimo-v2.6-flash-xiaomi-planlowen318–1980% (18.3)3 уник., попарно 0%100%004637134.2
mimo-v2.6-flash-xiaomi-planmediumen318–1980% (18.3)3 уник., попарно 0%100%004102113.4
mimo-v2.6-flash-xiaomi-planhighen318–1980% (18.3)3 уник., попарно 0%100%006086196.8
mimo-v2.6-pro-xiaomi-planhighen317–1980% (18.3)3 уник., попарно 0%100%0013067282.8
bonsai-2-27bxhighen517–1979% (18.2)5 уник., попарно 0%100%0015585123.9
glm-5.3maxen515–2079% (18.2)5 уник., попарно 0%100%00336248.6
huihui-ai-pi-100kmediumen517–1979% (18.2)5 уник., попарно 0%100%00371321.5
bonsai-2-27blowen517–1978% (18.0)5 уник., попарно 0%100%0014526115.6
gemma4-26b-pi-100koffen518–1878% (18.0)3 уник., попарно 20%100%007400.5
gemma4-31b-it-qat-pi-100koffen517–1978% (18.0)4 уник., попарно 10%100%007363.1
gemma4-31b-it-qat-pi-100konen517–1978% (18.0)4 уник., попарно 10%100%00288834.3
huihui-ai-pi-100koffen515–2078% (18.0)5 уник., попарно 0%100%007351.0
muse-glimmer-ctx100koffen516–1978% (18.0)5 уник., попарно 0%100%0012899.3
qwen3.8-27b-pi-100klowru518–1978% (18.6)5 уник., попарно 0%100%00301515.9
bonsai-2-27bmediumen517–1977% (17.8)5 уник., попарно 0%100%00396827.9
muse-glimmer-ctx100khighen516–1977% (17.8)4 уник., попарно 10%100%00359638.4
orcarouter-Qwen3.8-27B-Uncensored-ctx100koffen516–1977% (17.8)5 уник., попарно 0%100%007362.7
gemma4-26b-pi-100konru518–1977% (18.4)4 уник., попарно 10%100%00538615.8
glm-5.3lowru517–1977% (18.4)5 уник., попарно 0%100%008694.2
huihui-ai-pi-100koffru517–2077% (18.4)5 уник., попарно 0%100%008851.3
glm-5.3lowen516–1977% (17.6)5 уник., попарно 0%100%007715.1
ornith-1.5-35b-ctx100konen516–1977% (17.6)5 уник., попарно 0%100%001117037.1
qwen4-maxoffen216–1976% (17.5)2 уник., попарно 0%100%007845.5
qwen4-maxxhighen217–1876% (17.5)2 уник., попарно 0%100%00468791.5
orcarouter-Qwen3.8-27B-Uncensored-ctx100koffru516–1976% (18.2)5 уник., попарно 0%100%009684.6
glm-5.3-flashlowen515–1976% (17.4)5 уник., попарно 0%100%008077.7
huihui-ai-pi-100klowen516–1976% (17.4)5 уник., попарно 0%100%00327218.4
mimo-v2.6-flash-xiaomi-planoffen316–1875% (17.3)3 уник., попарно 0%100%006756.1
clefdecisionru618–1875% (18.0)1 уник., попарно 100%—00123555.6
gemma4-26b-pi-100koffru517–1975% (18.0)5 уник., попарно 0%100%009000.7
gemma4-31b-it-qat-pi-100koffru517–1975% (18.0)5 уник., попарно 0%100%009124.1
huihui-ai-pi-100kmediumru517–1974% (17.8)5 уник., попарно 0%100%00440025.3
medgemma-27b-ctx100koffru517–1874% (17.8)5 уник., попарно 0%100%0010505.5
qwen3.8-27b-pi-100kmediumru517–1974% (17.8)5 уник., попарно 0%100%00400422.4
clef-flashdecisionen517–1774% (17.0)1 уник., попарно 100%—00112011.8
mimo-v2.6-pro-xiaomi-planoffen315–1974% (17.0)3 уник., попарно 0%100%006924.6
glm-5.3highru516–1973% (17.6)5 уник., попарно 0%100%008449128.4
muse-glimmer-ctx100klowru516–1973% (17.6)5 уник., попарно 0%100%0012208.6
orcarouter-Qwen3.8-27B-Uncensored-ctx100konru515–1973% (17.6)5 уник., попарно 0%100%00397942.8
bonsai-2-27bmediumru516–1972% (17.4)5 уник., попарно 0%100%00512636.5
deepseek-flashhighru516–1972% (17.4)5 уник., попарно 0%100%001681897.6
glm-5.3-flashhighru517–1972% (17.4)5 уник., попарно 0%100%00504476.3
huihui-ai-pi-100klowru517–1872% (17.4)5 уник., попарно 0%100%00403422.5
kimi-k3.1-prolowru317–1872% (17.3)3 уник., попарно 0%100%00—33.9
kimi-k3.1-promaxru317–1872% (17.3)3 уник., попарно 0%100%00—212.7
mimo-v2.6-pro-xiaomi-planmediumru316–1972% (17.3)3 уник., попарно 0%100%008333127.8
bonsai-2-27boffen515–1872% (16.6)5 уник., попарно 0%80%009433.4
qwen4-maxlowen215–1872% (16.5)2 уник., попарно 0%100%00202627.7
gemma4-e2b-ctx100konen516–1771% (16.4)5 уник., попарно 0%100%0017922.8
kimi-k3.1-prohighru316–1971% (17.0)3 уник., попарно 0%100%00—89.1
ornith-1.5-35b-ctx100koffru516–1871% (17.0)5 уник., попарно 0%100%008750.9
qwen4-max-previewoffru217–1771% (17.0)2 уник., попарно 0%100%009046.7
gemma4-31b-it-qat-pi-100konru515–1870% (16.8)5 уник., попарно 0%100%00263229.1
gemma4-e2b-ctx100konru515–1870% (16.8)5 уник., попарно 0%100%0020162.9
glm-5.3maxru513–1870% (16.8)5 уник., попарно 0%100%008221119.9
glm-5.3-flashmaxru515–1970% (16.8)5 уник., попарно 0%100%00386155.5
muse-glimmer-ctx100koffru516–1870% (16.8)5 уник., попарно 0%100%00157712.4
medgemma-27b-ctx100koffen514–1870% (16.0)5 уник., попарно 0%100%008864.8
qwen4-maxhighen215–1770% (16.0)2 уник., попарно 0%100%00315450.2
mimo-v2.6-pro-xiaomi-planhighru316–1769% (16.7)3 уник., попарно 0%100%0011434171.8
huihui-ai-pi-100kxhighru516–1769% (16.6)4 уник., попарно 10%100%00958170.0
muse-glimmer-ctx100khighru515–1869% (16.6)5 уник., попарно 0%100%00422645.9
qwen3.8-27b-pi-100koffru510–1969% (16.6)5 уник., попарно 0%100%009381.8
qwen3.8-27b-pi-100kxhighru515–1969% (16.6)4 уник., попарно 10%100%001217089.6
qwen4-max-previewxhighru215–1869% (16.5)2 уник., попарно 0%100%007324135.3
bonsai-2-27bxhighru516–1868% (16.4)5 уник., попарно 0%100%0015456122.0
mimo-v2.6-flash-xiaomi-planoffru316–1768% (16.3)3 уник., попарно 0%100%0010248.5
mimo-v2.6-flash-xiaomi-planhighru315–1868% (16.3)3 уник., попарно 0%100%0011100308.7
mimo-v2.6-pro-xiaomi-planlowru316–1768% (16.3)3 уник., попарно 0%100%0014212193.6
bonsai-2-27blowru516–1768% (16.2)5 уник., попарно 0%100%0016269129.2
qwen4-max-previewlowen215–1667% (15.5)2 уник., попарно 0%100%00199931.4
qwen4-max-previewxhighen215–1667% (15.5)2 уник., попарно 0%100%00355958.5
qwen4-maxoffru215–1767% (16.0)2 уник., попарно 0%100%008945.8
bonsai-2-27boffru514–1766% (15.8)5 уник., попарно 0%100%008662.1
mimo-v2.6-flash-xiaomi-planmediumru315–1665% (15.7)3 уник., попарно 0%100%0011276295.2
qwen4-max-previewhighen215–1565% (15.0)2 уник., попарно 0%100%00244645.0
deepseek-flashlowru514–1665% (15.6)5 уник., попарно 0%100%00470924.6
glm-5.3-flashlowru513–1764% (15.4)5 уник., попарно 0%100%008824.6
qwen4-max-previewmediumen214–1563% (14.5)2 уник., попарно 0%100%00190129.9
clef-flashdecisionru515–1562% (15.0)1 уник., попарно 100%—00123551.8
mimo-v2.6-flash-xiaomi-planlowru315–1562% (15.0)3 уник., попарно 0%100%1013744375.6
qwen4-maxhighru214–1662% (15.0)2 уник., попарно 0%100%00233030.3
qwen4-maxxhighru215–1562% (15.0)2 уник., попарно 0%100%00375856.9
qwen4-max-previewhighru214–1662% (15.0)2 уник., попарно 0%100%00203929.8
ornith-1.5-9bonru514–1662% (14.8)5 уник., попарно 0%100%001254256.2
qwen4-max-previewlowru214–1560% (14.5)2 уник., попарно 0%100%00256941.9
ornith-1.5-35b-ctx100koffen50–1860% (13.8)5 уник., попарно 0%80%0238191.0
qwen4-max-previewmediumru214–1458% (14.0)2 уник., попарно 0%100%00254745.1
qwen4-maxlowru213–1456% (13.5)2 уник., попарно 0%100%00246334.4
ornith-1.5-9bonen50–1855% (12.6)5 уник., попарно 0%80%0231500767.8
ornith-1.5-9boffru59–1652% (12.6)5 уник., попарно 0%100%018351.1
gemma4-e2b-ctx100koffen511–1352% (12.0)4 уник., попарно 10%100%007140.3
ornith-1.5-9boffen59–1449% (11.2)5 уник., попарно 0%100%007060.8
gemma4-e2b-ctx100koffru59–1244% (10.6)5 уник., попарно 0%100%008710.4
ornith-1.5-35b-ctx100konru50–1842% (10.2)4 уник., попарно 10%60%0481728460.0

Матрица: модель × язык × уровень × вопрос

столбцы — нумерация ru (24 вопроса); вторая строка шапки — номера сопоставленных en-вопросов (ru 12 не имеет en-аналога). Ячейка — доля верных ответов на вопрос по прогонам группы, 0–100 (наведение — точные «верных/всего»); 📘 — эталонный ответ не однозначный
модель @ уровеньязык1 📘2 📘3456789101112131415161718 📘192021222324 📘
№ en →1 📘2 📘34567891011—121314151617 📘181920212223 📘
bonsai-2-27b @ offru00100808010080100100200010010010080804010060602010080
bonsai-2-27b @ lowru001001001001001002010000010010010060401001000100100100100
bonsai-2-27b @ mediumru00100100100100100601002020201001001008060801000100100100100
bonsai-2-27b @ xhighru00100100100100100201002020201001001006001001000100100100100
bonsai-2-27b @ offen0010010080100100601006020—60100100801006080010060100100
bonsai-2-27b @ lowen00100100100100100601008020—1001001008080100100080100100100
bonsai-2-27b @ mediumen0010010010010010080100600—80100100601001001004010010010060
bonsai-2-27b @ xhighen00100100100100100201008020—1001001001001001001000100100100100
clef @ decisionru010010010010010010010010000010010010010010010010001000100100
clef @ decisionen10010010010010010010010010000—10010001001001001000100100100100
clef-flash @ decisionru100100100100100100010010010000100010000100100000100100
clef-flash @ decisionen10010010010001001001001001000—1001001000100100100000100100
deepseek-flash @ lowru001001001001001008010000010010010080010010000100100100
deepseek-flash @ highru0010010010010010060100080801001001001000100100020100100100
deepseek-flash @ lowen001001001001001001001006080—100100100100601001000100100100100
deepseek-flash @ highen001001001001001004010060100—10010010010060100100080100100100
gemma4-26b-pi-100k @ offru001001001001001004010010010001001001006080201000100100100100
gemma4-26b-pi-100k @ onru0010010010010010060100201000100100100100100601000100100100100
gemma4-26b-pi-100k @ offen00100100100100100100100100100—100100100010001000100100100100
gemma4-26b-pi-100k @ onen0010010010010010010010060100—10010010010010010010000100100100
gemma4-31b-it-qat-pi-100k @ offru001000100100100401000100100100100100100601001000100100100100
gemma4-31b-it-qat-pi-100k @ onru0010001001001006010001008010010010010020100100020100100100
gemma4-31b-it-qat-pi-100k @ offen00100010010010010020100100—100100100100100100100080100100100
gemma4-31b-it-qat-pi-100k @ onen001002010010010010010080100—10010010010010010010000100100100
gemma4-e2b-ctx100k @ offru0010000100601001001000040601001008000040204020
gemma4-e2b-ctx100k @ onru00100100100100100010001000100100100806001006010010010080
gemma4-e2b-ctx100k @ offen0001000801001001001000—2001001001000000100100100
gemma4-e2b-ctx100k @ onen00100100100100100010080100—01001008010060100010010010020
glm-5.3 @ lowru001001001001001006010001000100100100100801001000100100100100
glm-5.3 @ highru0010080100100100201000608010010010010060100100060100100100
glm-5.3 @ maxru001006010010010020100010040100100100806080100040100100100
glm-5.3 @ lowen00100100100100606010060100—6010010010010040100010010010080
glm-5.3 @ highen001001001001001002010080100—100100100100100801000100100100100
glm-5.3 @ maxen0010080100100804010080100—1001001001008080100010010010080
glm-5.3-flash @ lowru001004010010010001000100801001001008000100040100100100
glm-5.3-flash @ highru001001001001001000100010010010010010010020100100020100100100
glm-5.3-flash @ maxru001001001001001000100010060100100100802080100040100100100
glm-5.3-flash @ lowen00100100100100100010080100—1001001008010020100010010060100
glm-5.3-flash @ highen0401001001001001004010080100—100100100100100100100060100100100
glm-5.3-flash @ maxen0601001001001001000100100100—100100100100100100100080100100100
huihui-ai-pi-100k @ offru0010010010010010010010080200100100100100401001000100100100100
huihui-ai-pi-100k @ lowru001001001001001006010080200100100100806080100010010010060
huihui-ai-pi-100k @ mediumru001001001001001006010060600801001001006080100010010010080
huihui-ai-pi-100k @ xhighru0010010010010010001000200100100100100401001000100100100100
huihui-ai-pi-100k @ offen001001001001001001001006060—601001006010080100010010010080
huihui-ai-pi-100k @ lowen001001001001001006010020100—801008080100100100010010010020
huihui-ai-pi-100k @ mediumen001001001001001001001006060—8010010010080100100010010010040
huihui-ai-pi-100k @ xhighen001001001001001002010060100—1001001001001001001000100100100100
kimi-k3.1-pro @ lowru00100100100100100671000330100100100100100100100330100100100
kimi-k3.1-pro @ highru00100100100100100331000333310010010010010010010000100100100
kimi-k3.1-pro @ maxru00100100100100100010001003310010010010067100100033100100100
kimi-k3.1-pro @ lowen0010010010010010010010067100—10010010010010010010033100100100100
kimi-k3.1-pro @ highen001001001001001006710067100—1001001001001001001003333100100100
kimi-k3.1-pro @ maxen00100100100100100010067100—1001001001001001001003333100100100
medgemma-27b-ctx100k @ offru001001001001001008010020020100100100100100601000100100100100
medgemma-27b-ctx100k @ offen0401008010010060201001000—100100100010040100010010060100
mimo-v2.6-flash-xiaomi-plan @ offru00100100100100100100670033100100100676710010033010010067
mimo-v2.6-flash-xiaomi-plan @ lowru001001001001001000100003367100100100671001000331001000
mimo-v2.6-flash-xiaomi-plan @ mediumru0010010010067100010003301001001001003310010006710010067
mimo-v2.6-flash-xiaomi-plan @ highru001001001001001000100333333100100100676710010000100100100
mimo-v2.6-flash-xiaomi-plan @ offen001001001001001003310010033—1001001000100100100010010010067
mimo-v2.6-flash-xiaomi-plan @ lowen00100100100100100010067100—100100100100100100100010010010067
mimo-v2.6-flash-xiaomi-plan @ mediumen00100100100100100676710067—10010010010010067100010010010067
mimo-v2.6-flash-xiaomi-plan @ highen001001001001001006710033100—10010010010010010010006710010067
mimo-v2.6-pro-xiaomi-plan @ offru00100100100100100671006710033100100100100100100100067100100100
mimo-v2.6-pro-xiaomi-plan @ lowru001001001001001000100336701001001001000100100033100100100
mimo-v2.6-pro-xiaomi-plan @ mediumru00100100100100100010006733100100100100100100100033100100100
mimo-v2.6-pro-xiaomi-plan @ highru001001001001001000100067010010010010067100100033100100100
mimo-v2.6-pro-xiaomi-plan @ offen001001001001006733010067—100100100331001001000100100100100
mimo-v2.6-pro-xiaomi-plan @ lowen00100100100100100010067100—1001001001001001001000100100100100
mimo-v2.6-pro-xiaomi-plan @ mediumen001001001001001000100100100—1001001001001001001000100100100100
mimo-v2.6-pro-xiaomi-plan @ highen00100100100100100010067100—100100100100671001000100100100100
muse-glimmer-ctx100k @ offru0010010010010010001002010001001001004040801000100100100100
muse-glimmer-ctx100k @ lowru001006010010010060100201000100100100201001001000100100100100
muse-glimmer-ctx100k @ highru0010080100100100010040100201001001004040100100040100100100
muse-glimmer-ctx100k @ offen00100100100100100401006060—80100100100100100100060100100100
muse-glimmer-ctx100k @ lowen00100100100100100801004060—1001001001001001001000100100100100
muse-glimmer-ctx100k @ highen00100100100100100010080100—10010010080100100100020100100100
orcarouter-Qwen3.8-27B-Uncensored-ctx100k @ offru0010010010010010010010080001001001001008080100080100100100
orcarouter-Qwen3.8-27B-Uncensored-ctx100k @ onru0010010010010010040100404008010010010080100100010010010080
orcarouter-Qwen3.8-27B-Uncensored-ctx100k @ offen001001001001001001001006060—801001006080601002010010010060
orcarouter-Qwen3.8-27B-Uncensored-ctx100k @ onen001001001001001006010080100—8010010010010060100010010010060
ornith-1.5-35b-ctx100k @ offru0010010010010010010010020001001001001000801000100100100100
ornith-1.5-35b-ctx100k @ onru0060606060602060060060606060204060040606060
ornith-1.5-35b-ctx100k @ offen020808040808020804020—80808080804080080808080
ornith-1.5-35b-ctx100k @ onen0201001001001001002010020100—10010010010010010010006010010040
ornith-1.5-9b @ offru0040100208080808010000806010080808020020408040
ornith-1.5-9b @ onru0010060100100100010004008010010010080801000408010020
ornith-1.5-9b @ offen0010060801004040201000—2040600100601000404020100
ornith-1.5-9b @ onen0208020808080080020—40808080808080080808040
qwen3.8-27b-pi-100k @ offru0010080100100808080600080100100808060100010080100100
qwen3.8-27b-pi-100k @ lowru001001001001001004010080600100100100100100100100010010010080
qwen3.8-27b-pi-100k @ mediumru001001001001001008010080001001001008060801000100100100100
qwen3.8-27b-pi-100k @ xhighru0010010010010010001004020010010010010020100100010010010080
qwen3.8-27b-pi-100k @ offen001001001001001001001006040—1001001004010010010020100100100100
qwen3.8-27b-pi-100k @ lowen00100801001001001001004080—1001001001001001001000100100100100
qwen3.8-27b-pi-100k @ mediumen00100100100100100801006080—10010010010010010010020100100100100
qwen3.8-27b-pi-100k @ xhighen001001001001001002010080100—10010010010080100100010010010080
qwen4-max @ offru00100100100100100501000500100100100100010010000100100100
qwen4-max @ lowru001000100100100010005001001001000010010000100100100
qwen4-max @ highru001000100100100010001005010010010050010010000100100100
qwen4-max @ xhighru001001001001001005010000010010010050010010000100100100
qwen4-max @ offen00100501001005010010050100—10010010010010010010000100100100
qwen4-max @ lowen001000100100100501000100—10010010010050100100050100100100
qwen4-max @ highen050100010010010050500100—1001001001005010010000100100100
qwen4-max @ xhighen00100501001001001001000100—10010010010010010010000100100100
qwen4-max-preview @ offru0010010010010010001000100010010010010010010010000100100100
qwen4-max-preview @ lowru00100010010010050100050010010010050010010000100100100
qwen4-max-preview @ mediumru0010001001001000100050010010010050010010000100100100
qwen4-max-preview @ xhighru001005010010010010010005001001001001005010010000100100100
qwen4-max-preview @ highru001000100100100501000100010010010050010010000100100100
qwen4-max-preview @ offen0010010010010010010010050100—10010010010010010010000100100100
qwen4-max-preview @ lowen00100010010010001000100—1001001001005010010000100100100
qwen4-max-preview @ mediumen001000100100100010000—1001001001005010010000100100100
qwen4-max-preview @ xhighen00100010010010001000100—1001001001005010010000100100100
qwen4-max-preview @ highen0010001001001000100050—1001001001005010010000100100100

Язык: ru vs en (влияние языка на точность и устойчивость)

лучший уровень модели на каждом языке; Δ = en% − ru% (в п.п.; множества вопросов разные: 24/23). По умолчанию — по Δ, лучшие сверху; клик по заголовку — сортировка по столбцу, повторный клик — в обратную сторону
модельru: лучший баллru %en: лучший баллen %Δ п.п.стабильность ruстабильность en
bonsai-2-27b17.4 (16–19) @ medium72%18.2 (17–19) @ xhigh79%+6.65 уник., попарно 0%5 уник., попарно 0%
clef18.0 (18–18) @ decision75%19.0 (19–19) @ decision83%+7.61 уник., попарно 100%1 уник., попарно 100%
clef-flash15.0 (15–15) @ decision62%17.0 (17–17) @ decision74%+11.41 уник., попарно 100%1 уник., попарно 100%
deepseek-flash17.4 (16–19) @ high72%19.0 (18–20) @ low83%+10.15 уник., попарно 0%5 уник., попарно 0%
gemma4-26b-pi-100k18.4 (18–19) @ on77%18.6 (18–19) @ on81%+4.24 уник., попарно 10%3 уник., попарно 30%
gemma4-31b-it-qat-pi-100k18.0 (17–19) @ off75%18.0 (17–19) @ off78%+3.35 уник., попарно 0%4 уник., попарно 10%
gemma4-e2b-ctx100k16.8 (15–18) @ on70%16.4 (16–17) @ on71%+1.35 уник., попарно 0%5 уник., попарно 0%
glm-5.318.4 (17–19) @ low77%18.8 (18–20) @ high82%+5.15 уник., попарно 0%5 уник., попарно 0%
glm-5.3-flash17.4 (17–19) @ high72%19.4 (18–20) @ max84%+11.85 уник., попарно 0%5 уник., попарно 0%
huihui-ai-pi-100k18.4 (17–20) @ off77%18.8 (18–19) @ xhigh82%+5.15 уник., попарно 0%5 уник., попарно 0%
kimi-k3.1-pro17.3 (17–18) @ low72%20.0 (19–21) @ low87%+14.73 уник., попарно 0%3 уник., попарно 0%
medgemma-27b-ctx100k17.8 (17–18) @ off74%16.0 (14–18) @ off70%-4.65 уник., попарно 0%5 уник., попарно 0%
mimo-v2.6-flash-xiaomi-plan16.3 (16–17) @ off68%18.3 (18–19) @ low80%+11.73 уник., попарно 0%3 уник., попарно 0%
mimo-v2.6-pro-xiaomi-plan19.3 (19–20) @ off81%19.0 (19–19) @ medium83%+2.13 уник., попарно 0%3 уник., попарно 0%
muse-glimmer-ctx100k17.6 (16–19) @ low73%18.8 (18–20) @ low82%+8.45 уник., попарно 0%5 уник., попарно 0%
orcarouter-Qwen3.8-27B-Uncensored-ctx100k18.2 (16–19) @ off76%18.4 (17–20) @ on80%+4.25 уник., попарно 0%5 уник., попарно 0%
ornith-1.5-35b-ctx100k17.0 (16–18) @ off71%17.6 (16–19) @ on77%+5.75 уник., попарно 0%5 уник., попарно 0%
ornith-1.5-9b14.8 (14–16) @ on62%12.6 (0–18) @ on55%-6.95 уник., попарно 0%5 уник., попарно 0%
qwen3.8-27b-pi-100k18.6 (18–19) @ low78%19.4 (19–20) @ medium84%+6.85 уник., попарно 0%5 уник., попарно 0%
qwen4-max16.0 (15–17) @ off67%17.5 (16–19) @ off76%+9.42 уник., попарно 0%2 уник., попарно 0%
qwen4-max-preview17.0 (17–17) @ off71%18.5 (18–19) @ off80%+9.62 уник., попарно 0%2 уник., попарно 0%
средняя Δ по моделям с обоими языками: +6.1 п.п. (en лучше)

Модели × языки × уровни

bonsai-2-27b

языкуровеньбалл%Δ к первому уровню языкапрогоновстабильность
ruoff15.8 (14–17)66%
—55 уник., попарно 0%
rulow16.2 (16–17)68%
+0.455 уник., попарно 0%
rumedium17.4 (16–19)72%
+1.655 уник., попарно 0%
ruxhigh16.4 (16–18)68%
+0.655 уник., попарно 0%
enoff16.6 (15–18)72%
—55 уник., попарно 0%
enlow18.0 (17–19)78%
+1.455 уник., попарно 0%
enmedium17.8 (17–19)77%
+1.255 уник., попарно 0%
enxhigh18.2 (17–19)79%
+1.655 уник., попарно 0%

clef

языкуровеньбалл%Δ к первому уровню языкапрогоновстабильность
rudecision18.0 (18–18)75%
—61 уник., попарно 100%
endecision19.0 (19–19)83%
—51 уник., попарно 100%

clef-flash

языкуровеньбалл%Δ к первому уровню языкапрогоновстабильность
rudecision15.0 (15–15)62%
—51 уник., попарно 100%
endecision17.0 (17–17)74%
—51 уник., попарно 100%

deepseek-flash

языкуровеньбалл%Δ к первому уровню языкапрогоновстабильность
rulow15.6 (14–16)65%
—55 уник., попарно 0%
ruhigh17.4 (16–19)72%
+1.855 уник., попарно 0%
enlow19.0 (18–20)83%
—55 уник., попарно 0%
enhigh18.4 (16–20)80%
-0.655 уник., попарно 0%

gemma4-26b-pi-100k

языкуровеньбалл%Δ к первому уровню языкапрогоновстабильность
ruoff18.0 (17–19)75%
—55 уник., попарно 0%
ruon18.4 (18–19)77%
+0.454 уник., попарно 10%
enoff18.0 (18–18)78%
—53 уник., попарно 20%
enon18.6 (18–19)81%
+0.653 уник., попарно 30%

gemma4-31b-it-qat-pi-100k

языкуровеньбалл%Δ к первому уровню языкапрогоновстабильность
ruoff18.0 (17–19)75%
—55 уник., попарно 0%
ruon16.8 (15–18)70%
-1.255 уник., попарно 0%
enoff18.0 (17–19)78%
—54 уник., попарно 10%
enon18.0 (17–19)78%
+0.054 уник., попарно 10%

gemma4-e2b-ctx100k

языкуровеньбалл%Δ к первому уровню языкапрогоновстабильность
ruoff10.6 (9–12)44%
—55 уник., попарно 0%
ruon16.8 (15–18)70%
+6.255 уник., попарно 0%
enoff12.0 (11–13)52%
—54 уник., попарно 10%
enon16.4 (16–17)71%
+4.455 уник., попарно 0%

glm-5.3

языкуровеньбалл%Δ к первому уровню языкапрогоновстабильность
rulow18.4 (17–19)77%
—55 уник., попарно 0%
ruhigh17.6 (16–19)73%
-0.855 уник., попарно 0%
rumax16.8 (13–18)70%
-1.655 уник., попарно 0%
enlow17.6 (16–19)77%
—55 уник., попарно 0%
enhigh18.8 (18–20)82%
+1.255 уник., попарно 0%
enmax18.2 (15–20)79%
+0.655 уник., попарно 0%

glm-5.3-flash

языкуровеньбалл%Δ к первому уровню языкапрогоновстабильность
rulow15.4 (13–17)64%
—55 уник., попарно 0%
ruhigh17.4 (17–19)72%
+2.055 уник., попарно 0%
rumax16.8 (15–19)70%
+1.455 уник., попарно 0%
enlow17.4 (15–19)76%
—55 уник., попарно 0%
enhigh19.2 (17–21)83%
+1.855 уник., попарно 0%
enmax19.4 (18–20)84%
+2.055 уник., попарно 0%

huihui-ai-pi-100k

языкуровеньбалл%Δ к первому уровню языкапрогоновстабильность
ruoff18.4 (17–20)77%
—55 уник., попарно 0%
rulow17.4 (17–18)72%
-1.055 уник., попарно 0%
rumedium17.8 (17–19)74%
-0.655 уник., попарно 0%
ruxhigh16.6 (16–17)69%
-1.854 уник., попарно 10%
enoff18.0 (15–20)78%
—55 уник., попарно 0%
enlow17.4 (16–19)76%
-0.655 уник., попарно 0%
enmedium18.2 (17–19)79%
+0.255 уник., попарно 0%
enxhigh18.8 (18–19)82%
+0.855 уник., попарно 0%

kimi-k3.1-pro

языкуровеньбалл%Δ к первому уровню языкапрогоновстабильность
rulow17.3 (17–18)72%
—33 уник., попарно 0%
ruhigh17.0 (16–19)71%
-0.333 уник., попарно 0%
rumax17.3 (17–18)72%
+0.033 уник., попарно 0%
enlow20.0 (19–21)87%
—33 уник., попарно 0%
enhigh19.0 (18–20)83%
-1.033 уник., попарно 0%
enmax18.3 (17–19)80%
-1.733 уник., попарно 0%

medgemma-27b-ctx100k

языкуровеньбалл%Δ к первому уровню языкапрогоновстабильность
ruoff17.8 (17–18)74%
—55 уник., попарно 0%
enoff16.0 (14–18)70%
—55 уник., попарно 0%

mimo-v2.6-flash-xiaomi-plan

языкуровеньбалл%Δ к первому уровню языкапрогоновстабильность
ruoff16.3 (16–17)68%
—33 уник., попарно 0%
rulow15.0 (15–15)62%
-1.333 уник., попарно 0%
rumedium15.7 (15–16)65%
-0.733 уник., попарно 0%
ruhigh16.3 (15–18)68%
+0.033 уник., попарно 0%
enoff17.3 (16–18)75%
—33 уник., попарно 0%
enlow18.3 (18–19)80%
+1.033 уник., попарно 0%
enmedium18.3 (18–19)80%
+1.033 уник., попарно 0%
enhigh18.3 (18–19)80%
+1.033 уник., попарно 0%

mimo-v2.6-pro-xiaomi-plan

языкуровеньбалл%Δ к первому уровню языкапрогоновстабильность
ruoff19.3 (19–20)81%
—33 уник., попарно 0%
rulow16.3 (16–17)68%
-3.033 уник., попарно 0%
rumedium17.3 (16–19)72%
-2.033 уник., попарно 0%
ruhigh16.7 (16–17)69%
-2.733 уник., попарно 0%
enoff17.0 (15–19)74%
—33 уник., попарно 0%
enlow18.7 (18–19)81%
+1.733 уник., попарно 0%
enmedium19.0 (19–19)83%
+2.033 уник., попарно 0%
enhigh18.3 (17–19)80%
+1.333 уник., попарно 0%

muse-glimmer-ctx100k

языкуровеньбалл%Δ к первому уровню языкапрогоновстабильность
ruoff16.8 (16–18)70%
—55 уник., попарно 0%
rulow17.6 (16–19)73%
+0.855 уник., попарно 0%
ruhigh16.6 (15–18)69%
-0.255 уник., попарно 0%
enoff18.0 (16–19)78%
—55 уник., попарно 0%
enlow18.8 (18–20)82%
+0.855 уник., попарно 0%
enhigh17.8 (16–19)77%
-0.254 уник., попарно 10%

orcarouter-Qwen3.8-27B-Uncensored-ctx100k

языкуровеньбалл%Δ к первому уровню языкапрогоновстабильность
ruoff18.2 (16–19)76%
—55 уник., попарно 0%
ruon17.6 (15–19)73%
-0.655 уник., попарно 0%
enoff17.8 (16–19)77%
—55 уник., попарно 0%
enon18.4 (17–20)80%
+0.655 уник., попарно 0%

ornith-1.5-35b-ctx100k

языкуровеньбалл%Δ к первому уровню языкапрогоновстабильность
ruoff17.0 (16–18)71%
—55 уник., попарно 0%
ruon10.2 (0–18)42%
-6.854 уник., попарно 10%
enoff13.8 (0–18)60%
—55 уник., попарно 0%
enon17.6 (16–19)77%
+3.855 уник., попарно 0%

ornith-1.5-9b

языкуровеньбалл%Δ к первому уровню языкапрогоновстабильность
ruoff12.6 (9–16)52%
—55 уник., попарно 0%
ruon14.8 (14–16)62%
+2.255 уник., попарно 0%
enoff11.2 (9–14)49%
—55 уник., попарно 0%
enon12.6 (0–18)55%
+1.455 уник., попарно 0%

qwen3.8-27b-pi-100k

языкуровеньбалл%Δ к первому уровню языкапрогоновстабильность
ruoff16.6 (10–19)69%
—55 уник., попарно 0%
rulow18.6 (18–19)78%
+2.055 уник., попарно 0%
rumedium17.8 (17–19)74%
+1.255 уник., попарно 0%
ruxhigh16.6 (15–19)69%
+0.054 уник., попарно 10%
enoff18.6 (18–19)81%
—55 уник., попарно 0%
enlow19.0 (18–20)83%
+0.455 уник., попарно 0%
enmedium19.4 (19–20)84%
+0.855 уник., попарно 0%
enxhigh18.6 (18–19)81%
+0.054 уник., попарно 10%

qwen4-max

языкуровеньбалл%Δ к первому уровню языкапрогоновстабильность
ruoff16.0 (15–17)67%
—22 уник., попарно 0%
rulow13.5 (13–14)56%
-2.522 уник., попарно 0%
ruhigh15.0 (14–16)62%
-1.022 уник., попарно 0%
ruxhigh15.0 (15–15)62%
-1.022 уник., попарно 0%
enoff17.5 (16–19)76%
—22 уник., попарно 0%
enlow16.5 (15–18)72%
-1.022 уник., попарно 0%
enhigh16.0 (15–17)70%
-1.522 уник., попарно 0%
enxhigh17.5 (17–18)76%
+0.022 уник., попарно 0%

qwen4-max-preview

языкуровеньбалл%Δ к первому уровню языкапрогоновстабильность
ruoff17.0 (17–17)71%
—22 уник., попарно 0%
rulow14.5 (14–15)60%
-2.522 уник., попарно 0%
rumedium14.0 (14–14)58%
-3.022 уник., попарно 0%
ruxhigh16.5 (15–18)69%
-0.522 уник., попарно 0%
ruhigh15.0 (14–16)62%
-2.022 уник., попарно 0%
enoff18.5 (18–19)80%
—22 уник., попарно 0%
enlow15.5 (15–16)67%
-3.022 уник., попарно 0%
enmedium14.5 (14–15)63%
-4.022 уник., попарно 0%
enxhigh15.5 (15–16)67%
-3.022 уник., попарно 0%
enhigh15.0 (15–15)65%
-3.522 уник., попарно 0%

Проблемные вопросы (модели массово не отвечают)

включены вопросы с суммарной долей верных <50% (ru + en вместе); «решили все» — группы, ответившие верно во всех своих прогонах; распределение — по всем прогонам языка
Q1 (en 1). Какие профили совместимы в социальном плане?
Эталон: ru «Два желтых» · en «Two Yellows»
Верных:
ru 5/242 (2%) · en 10/241 (4%)
Решили все свои прогоны: ru — clef-flash ru@decision · en — clef en@decision; clef-flash en@decision
Ответы ru: 26% «жёлтый и зелёный», 19% «Жёлтый + Зелёный», 4% «Красный и жёлтый; зелёный и синий», 4% «Красный и Жёлтый», прочее 45%
Ответы en: 36% «Yellow and Green», 14% «Red and Yellow», 9% «Yellow + Green», 4% «Two Yellows», прочее 35%
Q20 (en 19). Какой профиль быстрее всех воспримет новую идею?
Эталон: ru «Красный» · en «Red»
Верных:
ru 8/242 (3%) · en 8/241 (3%)
Решили все свои прогоны: ru — никто · en — никто
Ответы ru: 87% «Жёлтый», 3% «красный», 0% «Жёлтый (I)», 0% «∅», прочее 7%
Ответы en: 79% «Yellow», 3% «Red», 2% «Green», 2% «Blue», прочее 12%
Q2 (en 2). Какие профили совместимы в совместной работе?
Эталон: ru «Зеленый и любой другой» · en «Green with anyone else»
Верных:
ru 11/242 (5%) · en 21/241 (9%)
Решили все свои прогоны: ru — clef ru@decision; clef-flash ru@decision · en — clef en@decision; clef-flash en@decision
Ответы ru: 18% «красный и синий», 14% «Красный + Синий», 4% «Зеленый и любой другой», 3% «синий и зелёный», прочее 58%
Ответы en: 35% «Red and Blue», 8% «Red + Blue», 4% «Red and Green», 4% «No single answer», прочее 46%
Q12 (en —). Какой профиль болезненнее всего реагирует на личную критику?
Эталон: ru «Желтый»
Верных:
ru 43/242 (18%)
Решили все свои прогоны: ru — gemma4-31b-it-qat-pi-100k ru@off; glm-5.3-flash ru@high · en — нет прогонов
Ответы ru: 49% «Зелёный», 16% «синий», 15% «Жёлтый», 8% «красный», прочее 10%
Q10 (en 10). Какой профиль охотнее всех апробирует новые технологии или приемы, если это ускорит работу?
Эталон: ru «Желтый» · en «Yellow»
Верных:
ru 64/242 (26%) · en 153/241 (63%)
Решили все свои прогоны: ru — clef-flash ru@decision; gemma4-26b-pi-100k ru@off; gemma4-e2b-ctx100k ru@off; ornith-1.5-9b ru@off · en — clef-flash en@decision; gemma4-26b-pi-100k en@off; gemma4-31b-it-qat-pi-100k en@off; gemma4-e2b-ctx100k en@off; glm-5.3-flash en@max; medgemma-27b-ctx100k en@off; mimo-v2.6-flash-xiaomi-plan en@off; mimo-v2.6-flash-xiaomi-plan en@medium; mimo-v2.6-pro-xiaomi-plan en@off; mimo-v2.6-pro-xiaomi-plan en@medium; ornith-1.5-9b en@off
Ответы ru: 60% «Красный», 26% «жёлтый», 1% «Красный, Жёлтый», 1% «Красный и жёлтый», прочее 10%
Ответы en: 58% «Yellow», 25% «Red», 0% «Red and Yellow», 0% «Yellow — spontaneous, creative and open to experimenting wit», прочее 14%
Q8 (en 8). Какой профиль всегда приходит вовремя и в этом плане на него можно положиться?
Эталон: ru «Синий» · en «Blue»
Верных:
ru 107/242 (44%) · en 128/241 (53%)
Решили все свои прогоны: ru — bonsai-2-27b ru@off; clef ru@decision; clef-flash ru@decision; gemma4-e2b-ctx100k ru@off; huihui-ai-pi-100k ru@off; mimo-v2.6-flash-xiaomi-plan ru@off; orcarouter-Qwen3.8-27B-Uncensored-ctx100k ru@off; ornith-1.5-35b-ctx100k ru@off; qwen4-max-preview ru@xhigh · en — clef en@decision; clef-flash en@decision; deepseek-flash en@low; gemma4-26b-pi-100k en@off; gemma4-26b-pi-100k en@on; gemma4-31b-it-qat-pi-100k en@off; gemma4-31b-it-qat-pi-100k en@on; gemma4-e2b-ctx100k en@off; huihui-ai-pi-100k en@off; huihui-ai-pi-100k en@medium; kimi-k3.1-pro en@low; orcarouter-Qwen3.8-27B-Uncensored-ctx100k en@off; qwen3.8-27b-pi-100k en@off; qwen3.8-27b-pi-100k en@low; qwen4-max en@off; qwen4-max en@xhigh; qwen4-max-preview en@off
Ответы ru: 43% «Синий», 40% «Зелёный», 1% «Синий или Зелёный», 1% «синий (также зелёный)», прочее 13%
Ответы en: 51% «Blue», 31% «Green», 1% «Red», 0% «S», прочее 15%
Флаги: unparsed — ответ не распознан (это не «неверный ответ»); skipped — вопроса нет в JSON; ambiguous — распознано 2+ профиля; near — верный профиль без нужного уточнения. Стабильность — уникальные наборы ответов и попарное совпадение прогонов группы. Ссылки — папки прогонов models/<модель>/quiz[-en]/.