Лидерборды LLM

Здесь я публикую рейтинги больших языковых моделей на собственных тестах. К каждому лидерборду прилагаю полный отчёт: методика, таблицы, протоколы серий, экономика.

Знания PHP-стека

Опубликован 14 октября 2026

Собеседование на роль PHP-бэкендера прошли 16 моделей: 8 локальных на RTX 5090, 5 облачных и 3 российские. Облачные SOTA — эталон для сравнения, среди них Opus 5.5, GPT-6.1 Sol, GPT-6 Luna и Haiku 5.5, плюс DeepSeek V4.1-Flash. GigaChat и YandexGPT — тоже для сравнения, чтобы понимать уровень отечественных моделей. Интервью — 35 открытых вопросов про PHP 8, Symfony, Doctrine, PostgreSQL, DDD и git. Без харнеса и системного промпта, только знания из весов. Среди вопросов три провокации с ложной предпосылкой и два коротких код-ревью. Судья проверяет спорные утверждения запуском кода на PHP 8.5 и запросами к настоящему PostgreSQL в докере, отдельным замером идёт доля галлюцинаций.

Умение писать код на PHP-стеке

Готовится

Выполнение тестового задания на написание мини-приложения на роль PHP-бэкендера — проверим модели на умение применять знания на практике.

Эмбеддинги

Готовится

Сравнение эмбеддинг-моделей на своей задаче. Формат ещё прорабатываю, лидерборд появится после первого прогона.

Decision-модели

Готовится

Decision-модели — компактные оценщики качества ответов. В собеседовании на PHP-стек роль дешёвого оценщика первого яруса выполняла clef. Лидерборд появится после первого прогона.