Выбор LLM замером: пять проектов, разные победители
В 2026 году я выбирал модель для пяти разных систем, и в каждой победила своя. Этот обзор не про то, какая LLM лучшая. Он про то, как выбирать модель под свою задачу за день-два и не жалеть потом.
Коротко
| Проект | Что выбирали | Кандидаты | Победитель |
|---|---|---|---|
| Аналитика email-программы | модель для разбора писем | 20+ LLM, эталон — Claude Sonnet 4.6 | GigaChat-2-Max: 8 из 10, в 4 раза быстрее, 47% цены |
| Обработка обращений с Авито | классификатор обращений | 5 кандидатов на 63 размеченных обращениях | GigaChat-2-Pro, позже GigaChat-3-Pro на Cloud.ru |
| Бот комитета аренды | подбор заявок и разбор ответов | все 12 чат-моделей Yandex, линейка GigaChat, Gemini | Gemini 3.7 Flash через российского посредника |
| Автопротоколы встреч | распознавание речи | Teams, GigaAM, Whisper large-v3 | гибрид Teams + Whisper |
| Генератор баннеров | генерация фонов | 4 модели × 3 товара | Recraft v4.1, $0,035 за фон |
Почему не по бенчмаркам
У каждой из этих систем было своё узкое место, и общие рейтинги его не видели:
- в одной важна точность на коротких русских сообщениях с опечатками;
- в другой — латиница в названиях сетей и брендов;
- в третьей — цена, потому что модель вызывается на каждое сообщение;
- в нескольких — 152-ФЗ: данные не должны уходить за рубеж, и половина кандидатов отпадает до любого замера.
Поэтому я каждый раз собирал маленький замер на своих данных. Ниже — пять таких замеров и что из них получилось.
1. Аналитика email-программы: эталон и 20+ моделей
Задача. Платформа аналитики email-программы крупного международного FMCG-холдинга пишет разбор каждого письма. Разработка шла на Claude Sonnet 4.6, а прод должен был жить на российском сервере заказчика.
Замер. Летом 2026 года я прогнал 20+ моделей, по 10 брифов на каждую. Эталоном были ответы Claude Sonnet 4.6: считал, в скольких брифах вывод модели совпадает с эталоном.
Результат.
- GigaChat-2-Max совпал с эталоном в 8 из 10 брифов, работал в 4 раза быстрее (10 с против 38 с) и стоил 47% от цены эталона.
- Лучшая открытая модель — Gemma 4 31B, тоже 8 из 10.
- YandexGPT 5 Lite — 3 из 10.
GigaChat-2-Max ушёл в прод. Позже я подготовил переход на Yandex AI Studio (qwen3.6) с отключённым логированием запросов, и цифры в разборе теперь считает код, а модель их только объясняет. Это снижает требования к модели: ей не нужно уметь считать.
2. Обработка обращений с Авито: размеченный набор и поля решения
Задача. Система для производственной компании принимает сообщения покупателей с Авито и заводит лиды в Битрикс24. Модель здесь только классифицирует: что хочет покупатель, какой товар, какой город, не отказ ли это. Ответ покупателю она не пишет — тексты берутся из настроек клиента.
Замер. Я разметил 63 обращения и прогнал на них 5 кандидатов: YandexGPT, GigaChat и локальную модель через Ollama. Сравнивал не «общее качество», а каждое поле, от которого зависит решение системы.
Результат. Лучшим оказался GigaChat-2-Pro:
| Поле | Верно |
|---|---|
| Город | 60 из 63 |
| Намерение | 58 из 63 |
| Товар | 57 из 63 |
| Адекватность | 58 из 63 |
Ноль обращений без вердикта. Локальные модели отпали по решению клиента: держать для них инфраструктуру было некому.
Перепроверка. В октябре, когда выбирали модель на Cloud.ru, я повторил замер на 109 синтетических и 56 живых обращениях. GigaChat-2-Max и Pro на полях, от которых зависит решение, сравнялись. GigaChat-3-Pro, когда правила промпта стоят в системном сообщении, дал тот же уровень, что и Max. Медиана — 2,0–2,5 с на обращение.
С 23 октября в бою GigaChat-3-Pro на Cloud.ru. По расходу облака это около 0,66 ₽ за сообщение — оценка, не тариф.
3. Бот комитета аренды: длинный вход и латиница
Задача. Telegram-бот агентства коммерческой недвижимости подбирает заявки арендаторов к новым объектам. Правила отсекают заведомо неподходящие заявки, а модель выбирает кандидатов из шорт-листа.
Замер. Я сравнил все 12 чат-моделей Yandex и линейку GigaChat с Gemini через OpenRouter. В пилоте до конца августа работал YandexGPT 5 Pro.
Что решило. На больших входах YandexGPT отвечал ошибкой, и для российских моделей шорт-лист пришлось резать до 40 заявок. Зарубежная модель спокойно берёт 240. С 31 августа в бою Gemini 3.7 Flash. С 21 октября она идёт через российского посредника: доступ напрямую из России, оплата юрлицом заказчика, модель та же.
Распознавание записей встреч. Отдельно сравнил Yandex SpeechKit и распознавание аудио в Gemini на реальной записи комитета. Сущностей нашлось поровну, но у SpeechKit нет пунктуации и почти нет латиницы. А латиница встречается в 15% справочника сетей, с которым бот сверяет ответы. Выбрал Gemini.
4. Автопротоколы встреч: замер на терминах
Задача. Сервис после встречи в Microsoft Teams сам забирает расшифровку и собирает протокол с дословными цитатами. Цитата с искажённым термином хуже, чем никакой.
Замер. 51 минута записи, 14 терминов, которые в ней звучат. Считал, сколько из них распознано правильно.
| Распознавание | Терминов верно |
|---|---|
| Расшифровка Teams | 6 из 14 |
| GigaAM | 10 из 14 |
| Whisper large-v3 (локально) | 12 из 14 |
Решение. Не заменять Teams целиком, а сделать гибрид: каркас — расшифровка Teams, спорные цитаты точечно перераспознаёт Whisper. Так восстановились 12 из 14 спорных цитат, а аудио не нужно гонять целиком.
Протоколы пишет GigaChat-2-Max: пять параллельных вызовов разбирают час встречи за 47 с вместо 3,2 мин.
5. Генератор баннеров: замер за $0,58
Задача. Генератор баннеров и сторис для программы кэшбэка FMCG-брендов собирает креатив из фото товара и сгенерированного фона.
Замер. 4 модели × 3 товара = 12 картинок, весь замер стоил $0,58.
Результат. Самый дорогой кандидат оказался в 5,5 раза дороже без выигрыша в качестве. Выбрал Recraft v4.1: $0,035 и около 6,5 с за фон.
Как устроить такой замер
Из пяти проектов сложился порядок, который я повторяю:
- Размеченный набор на своих данных. От 10 до 100 примеров хватает, чтобы отличить 8 из 10 от 3 из 10. Синтетика годится для старта, но перепроверять нужно на живых данных.
- Поля решения, а не общее качество. Меряю то, от чего зависит поведение системы: город, намерение, термин в цитате. Общая оценка «ответ хороший» скрывает, где модель ошибается.
- Цена и скорость — в той же таблице. Модель, которая на 1 пункт точнее и в 4 раза медленнее, может проиграть.
- Ограничения — до замера. 152-ФЗ, доступность из России, способ оплаты отсекают кандидатов раньше любого качества.
- Перепроверка через месяц-два. Модели обновляются и снимаются с поддержки. Замер, сделанный в августе, к октябрю может устареть, и обратное тоже бывает: дорогая модель перестаёт быть нужной.
- Модель — одна настройка. В системах продаж и комитета провайдер меняется конфигурацией за общим интерфейсом. Это и делает перепроверку дешёвой.
- Цифры считает код. Где можно, модель только объясняет посчитанное. Тогда требования к ней ниже, и выбор шире.
Чего этот обзор не утверждает
- Это не рейтинг моделей. Каждый замер — на одной задаче и на небольшом наборе.
- Цифры точности — на моих размеченных наборах, а не на всём живом трафике. Постоянной метрики точности в бою у этих систем нет.
- Цены — на момент замеров и по фактическому расходу, без учёта скидок и смены тарифов.
Все пять систем я спроектировал и довёл до эксплуатации или демо через Claude Code; замеры — часть этой работы.