Ключевые тезисы
- •В эксперименте Hightouch на 1000 клиентских профилей связка «Jev, при сомнении Claude Opus 5.5» дала 98,8 % точности за 0,88 $ за тысячу проверок, а одна Claude Opus 5.5 — 99,0 % за 3,86 $
- •Премиальная модель понадобилась только в 22 % случаев: Jev передавала ей профили, когда её уверенность была в диапазоне от 30 до 90 %
- •На сложном наборе гибрид оказался точнее самой Opus (95,3 % против 95,1 %), а его стоимость сама выросла до 2,94 $ за тысячу проверок, потому что дешёвая модель чаще сомневалась
- •Для маршрутизации важнее калибровка, чем точность: ошибки GPT-6 Luna сосредоточены при уверенности 90–100 %, поэтому в связке на сложном наборе она дала только 91,6 %
- •В тесте Arize после настройки порога до 0,80 одна Jev сравнялась с Claude Opus 5 на поиске галлюцинаций (87 %) при цене 0,05 $ против 14,30 $ за тысячу проверок
Схема «сначала дешёвая модель» устроена так: каждую задачу сначала решает быстрая и недорогая модель, которая вместе с ответом сообщает, насколько в нём уверена. Уверенные ответы принимаются сразу, а спорные случаи уходят на проверку премиальной модели. В эксперименте Hightouch такая связка дала 98,8 % точности против 99,0 % у Claude Opus 5.5 и обошлась в 0,88 $ вместо 3,86 $ за тысячу проверок.
Цена одного запроса к языковой модели падает, а общий счёт за ИИ у компаний растёт. Причина в объёме. Пока модель пишет один пресс-релиз в день, о стоимости токенов никто не думает. Когда она размечает упоминания в мониторинге, сортирует входящие запросы и сверяет базы контактов, запросов становится в тысячи раз больше, и экономия на цене за токен перестаёт что-то значить.
Российские компании платят за модели через API так же, как и все остальные, поэтому вопрос для них тот же: не «какая модель лучшая», а «какой модели достаточно для этой задачи». Свежий эксперимент Hightouch, платформы клиентских данных и маркетинга, даёт на него измеримый ответ.
Задача: проверить тысячу клиентских профилей
Hightouch проверяла разрешение идентичности (identity resolution): по разрозненным записям вроде регистраций в программе лояльности, покупок, адресов и email нужно понять, какие из них принадлежат одному человеку. На этом держатся персонализация, аналитика и расчёт ценности клиента.
Самая дорогая ошибка здесь — ложное слияние, когда двух разных людей объединяют в один профиль. Близнецы, отец и сын с одинаковыми именами, супруги с общим почтовым ящиком. Раньше такие ошибки ловили вручную. По оценке Hightouch, человек проверяет около 50 профилей в час, а чтобы измерить долю ложных слияний с точностью до ±1 %, нужно больше 1000 образцов.
Модель делает такую проверку за секунды. Но если каждую проверку отправлять в премиальную модель, счёт быстро становится заметным.
Эксперимент: дешёвая модель и премиальная на подстраховке
Hightouch сравнила модели на 1000 смоделированных профилей. В первую группу вошли премиальные модели: Claude Opus 5.5 от Anthropic, Gemini 3.1 Pro от Google и GPT-6 Sol от OpenAI. Во вторую — так называемые модели решений (decision models) Jev и GPT-6 Luna. Тексты они не пишут: возвращают ответ и степень уверенности в нём, и при этом обходятся до 90 раз дешевле и работают больше чем в 10 раз быстрее.
| Подход | Точность | Цена за 1000 проверок | Время на проверку |
|---|---|---|---|
| Claude Opus 5.5 | 99,0 % | 3,86 $ | 2,2 с |
| Gemini 3.1 Pro | 98,3 % | 4,48 $ | |
| GPT-6 Sol | 98,3 % | 2,50 $ | |
| GPT-6 Luna отдельно | 97,3 % | 0,10 $ | 0,17 с |
| Jev отдельно | 95,7 % | 0,05 $ | 0,15 с |
Затем Hightouch собрала гибрид. Jev смотрит каждый профиль первой. Если она уверена, её ответ принимается. Если уверенность попадает в диапазон от 30 до 90 %, профиль уходит на второе мнение к Claude Opus.
Результат: почти та же точность в 4,4 раза дешевле
| Подход | Точность | Цена за 1000 проверок |
|---|---|---|
| Claude Opus 5.5 отдельно | 99,0 % | 3,86 $ |
| Jev, при сомнении Opus | 98,8 % | 0,88 $ |
| Luna, при сомнении Opus (диапазон 10–90 %) | 98,5 % | 0,33 $ |
Премиальная модель понадобилась только в 22 % случаев. Точность почти не изменилась, а затраты упали примерно в 4,4 раза.
Потом Hightouch усложнила задачу: в новом наборе было много почти одинаковых людей и обманчивых опечаток.
| Подход (сложный набор) | Точность | Цена за 1000 проверок |
|---|---|---|
| Claude Opus 5.5 отдельно | 95,1 % | 5,39 $ |
| Jev, при сомнении Opus | 95,3 % | 2,94 $ |
| Luna, при сомнении Opus | 91,6 % | 1,15 $ |
| Jev отдельно | 89,1 % | |
| Luna отдельно | 88,8 % |
Из этих цифр следуют два вывода. Первый: на сложных данных гибрид не уступил премиальной модели и обошёлся чуть дороже половины её цены. Второй: бюджет подстраивается сам. Чем сложнее данные, тем чаще дешёвая модель сомневается и тем больше работы уходит премиальной. Стоимость гибрида выросла с 0,88 до 2,94 $ за тысячу проверок, хотя настройки никто не трогал.
Цена 1000 проверок, $: базовый и сложный набор
Главное: честная модель полезнее уверенной
Самая полезная находка эксперимента неочевидна. Отдельно GPT-6 Luna точнее Jev, а в связке на сложном наборе она проиграла. Дело в калибровке.
Ошибки Jev сосредоточены около 50 % уверенности: когда модель ошибается, она обычно сама в себе сомневается, и такие случаи уходят на проверку. Ошибки Luna сосредоточены в диапазоне 90–100 %: модель ошибается уверенно, и эти ответы до второго мнения не доходят.
Значит, при выборе модели для маршрутизации мало смотреть на её точность. Важно, насколько её уверенность соответствует действительности. Это свойство конкретной модели, а не всех дешёвых моделей: Arize отмечает, что у самой Claude Opus 5 уверенность откалибрована хорошо.
Экономия зависит от задачи
Схема работает не везде одинаково, и это видно по трём независимым тестам.
Иногда хватает одной дешёвой модели. В тесте Arize на поиск галлюцинаций в наборе RAGTruth Jev с настроенным порогом 0,80 сравнялась с Claude Opus 5: 87 % точности при цене 0,05 $ против 14,30 $ за тысячу проверок. После настройки порога отправка спорных случаев в Opus ничего не добавляла. А с порогом по умолчанию 0,5 Jev выглядела на 7 пунктов хуже.
Гибрид снижает затраты примерно вчетверо. Это результат Hightouch, разобранный выше.
На сортировке обращений разрыв в цене самый большой. OpenRouter прогнала 60 обращений в поддержку: Jev обошлась в 0,0248 $ за тысячу против 2,88 $ у Claude Opus, а намерение клиента определила верно в 59 случаях из 60 против 60 из 60. Но ответ клиенту Jev не напишет, для этого всё равно нужна модель, которая генерирует текст.
Логика маршрутизации не привязана к конкретным моделям. Её можно построить на любой паре из дешёвой и премиальной модели, которые доступны команде, если дешёвая умеет сообщать степень уверенности и эта уверенность проверена на ваших данных.
Как применить это в компании
- Разложите затраты на ИИ по задачам. Найдите массовые однотипные операции, которые сейчас идут через премиальную модель: разметку упоминаний в мониторинге, сортировку входящих запросов и брифов, проверку и чистку баз контактов, классификацию отзывов.
- Соберите размеченную выборку. Несколько сотен реальных примеров с заранее известным правильным ответом. Без неё нельзя оценить ни одну схему маршрутизации.
- Испытайте дешёвую модель, которая сообщает уверенность. Смотрите не только на число ошибок, но и на то, при какой уверенности они возникают.
- Настройте порог. Решите, какой диапазон уверенности отправляется на второе мнение. В тесте Arize один только порог менял точность Jev на 7 пунктов.
- Следите за метриками постоянно. Доля переданных случаев, точность и стоимость по каждой задаче, особенно когда данные становятся сложнее.
Вывод
Отправлять каждую задачу в самую дорогую модель — всё равно что поручать каждое входящее письмо самому опытному специалисту отдела. Эксперимент Hightouch показывает рабочую альтернативу: рутину берёт быстрая недорогая модель, а премиальная подключается только там, где она действительно нужна. Затраты снижаются в разы, качество сохраняется, а когда работа усложняется, бюджет сам перераспределяется в пользу точности. Проверьте экономию на собственных данных, прежде чем переводить на такую схему рабочие процессы.
Источники
- Hightouch: A Jev that can ask Opus for help gives Opus accuracy at 4x lower cost
- Arize AI: Jev vs LLM-as-a-Judge
- OpenRouter: Jev vs LLM, when to use each
Цены и время ответа приведены по данным авторов исследований и зависят от конкретной конфигурации.




