раздел 03

Под задачу - своя модель

Что это

Типовые задачи хорошо ложатся на классы моделей. Это не строгий закон, а стартовая точка: с неё начинаете, дальше проверяете на своих данных.

Кодинг

Сложный код, рефакторинг, работа с большим репозиторием - сюда берут сильные флагманы (Claude, GPT) или топовые опенсорс-модели под код. Здесь важнее качество, чем цена: ошибка в коде дороже лишних токенов. Для простого автодополнения хватает быстрой модели поменьше.

Тексты

Ответственные тексты (лендинг, письмо клиенту, статья) - флагман или сильная опенсорс-модель, особенно если язык русский. Массовая генерация черновиков или шаблонных писем - модель подешевле, качество «хорошо» здесь достаточно.

Анализ данных

Разбор таблиц, извлечение сущностей, суммаризация документов. Если документы большие - смотрите в первую очередь на размер контекстного окна. Для структурного извлечения по чёткой инструкции часто хватает средней модели; для тонких выводов - флагман.

Агенты

Агент сам планирует шаги и вызывает инструменты. Здесь нужна модель, которая надёжно следует инструкциям и хорошо работает с tool use - обычно флагман или сильная опенсорс-модель. Слабая модель в агенте «срывается»: путает шаги, неверно вызывает инструменты, зацикливается.

Дешёвая массовая обработка

Классификация, разметка, простая фильтрация на больших объёмах. Главный критерий - цена и скорость. Берут самые дешёвые компактные или опенсорс-модели; разница в счёте с флагманом - десятки раз.

Пример

Пайплайн обработки заявок. Сначала дешёвая модель классифицирует заявку по теме (массовая операция - экономим). Если заявка сложная и попала в «требует ответа эксперта» - её передают флагману для развёрнутого ответа. Дешёвая модель на объёме, дорогая - точечно. Так устроены почти все продуманные продукты.

Антипаттерны

  • Один флагман на весь пайплайн. Дорого там, где хватило бы дешёвой модели.
  • Дешёвая модель в роли агента. Сложные цепочки шагов она не вытягивает - больше потеряете на сбоях.
  • Выбор «по ощущениям» без проверки. Стартовая гипотеза по задаче - это только начало, дальше тест.

Подразделы