Какую модель выбрать под задачу
Четыре класса моделей и таблица сценариев: где компактной достаточно, а где нужна рассуждающая, и как проверить выбор на своих задачах.
Когда в одном интерфейсе лежат сотни моделей, соблазн один: всегда брать самую дорогую и мощную. Это ошибка сразу по двум причинам — вы переплачиваете в десятки раз и часто получаете ответ хуже, потому что тяжёлая модель начинает рассуждать там, где нужен был короткий факт.
Полезнее держать в голове четыре класса моделей и понимать, какой класс закрывает вашу задачу.
Четыре класса, между которыми вы выбираете
- Компактные. Самые дешёвые и быстрые. Переформулировать, перевести, извлечь данные из текста, разложить по пунктам, ответить на простой фактический вопрос.
- Рабочие. Золотая середина по цене и качеству. Основная часть повседневных задач: письма, тексты, обычный код, анализ документа.
- Рассуждающие. Думают перед ответом, стоят заметно дороже и отвечают медленнее. Нужны там, где важна цепочка рассуждений: сложная отладка, математика, разбор противоречивых требований.
- Специализированные. Изображения, видео, речь, эмбеддинги. Здесь выбор диктует формат результата, а не сложность задачи.
Таблица: задача — класс модели
| Задача | Что брать | Почему |
|---|---|---|
| Перевод, вычитка, переформулировка | Компактная | Языковая задача без рассуждений, разницы с флагманом почти нет |
| Выжимка из длинного текста | Компактная или рабочая | Смотрите на объём: чем длиннее исходник, тем важнее качество удержания контекста |
| Письмо, пост, описание товара | Рабочая | Нужен стиль и связность, но не глубокий анализ |
| Обычный код и правки | Рабочая | Функция, скрипт, рефакторинг — рассуждающая модель здесь избыточна |
| Отладка непонятной ошибки | Рассуждающая | Нужно перебрать гипотезы и связать разрозненные факты |
| Математика, логика, расчёты | Рассуждающая | Модели без рассуждений уверенно ошибаются в арифметике |
| Разбор договора, сравнение условий | Рассуждающая | Цена ошибки высокая, а противоречия нужно замечать |
| Классификация, разметка массива | Компактная | Тысячи однотипных запросов — цена решает всё |
| Мозговой штурм, варианты | Рабочая | Нужно разнообразие, а не глубина; дешевле получить двадцать вариантов |
| Картинка к статье | Специализированная | Текстовая модель здесь бесполезна |
Практический приём: двухступенчатая работа
Самый заметный выигрыш даёт разделение задачи. Черновик, структуру и варианты получайте компактной моделью, а доводите результат рабочей или рассуждающей. Ей достаётся уже готовая заготовка, а значит меньше работы и короче ответ.
Обратный порядок тоже работает: сложную задачу разобрать рассуждающей моделью один раз, получить план, а дальше выполнять его шагами на дешёвой.
Как проверить, что модель выбрана верно
Возьмите задачу, которую делаете чаще всего, и прогоните её на трёх моделях разного класса. Сравните не только качество, но и стоимость каждого запроса — она видна в интерфейсе. Часто выясняется, что модель за центы даёт результат, неотличимый от модели за десять центов, и на потоке разница превращается в реальные деньги.
Повторяйте эту проверку раз в пару месяцев: модели обновляются, и вчерашняя компактная сегодня может закрывать то, ради чего вы брали флагман.
Чего не стоит делать
Не выбирайте модель по громкости названия. Свежий флагман хорош в бенчмарках, но ваша задача редко похожа на бенчмарк. Не держитесь и за одну модель из привычки — в сервисе, где они все на одном балансе, смена стоит одного клика.
И не забывайте про длину ответа: даже самая дешёвая модель обойдётся дорого, если каждый раз выдаёт три страницы там, где нужен абзац. Об этом и других приёмах — в статье про сокращение расходов.
Конкретные названия моделей меняются каждые несколько месяцев, поэтому в таблице классы, а не имена. Актуальный список и цены смотрите на странице тарифов сервиса.