раздел 03

Как пользоваться с умом

Главная ошибка - открыть лидерборд, взять модель с первого места и считать вопрос закрытым. Рейтинг отвечает на вопрос «кто в среднем сильнее», а вам нужен ответ на вопрос «что лучше решит мою задачу». Это не одно и то же.

Лидерборд - это старт поиска, а не финальная истина. Он сужает выбор до нескольких кандидатов, а дальше решаете вы на своих задачах.

Разрыв топов часто мал

Между первым и пятым местом разница нередко крошечная - доли процента или несколько очков рейтинга. На практике вы вряд ли заметите разницу в качестве, зато заметите разницу в цене и скорости. Гоняться за самой верхней строчкой ради пары очков обычно бессмысленно.

Что делать вместо слепого доверия

1
Берите категорию под задачу
Нужен код - смотрите категорию кодинга, а не общий зачёт. Общий рейтинг усредняет всё подряд.
2
Сужайте до 2-3 кандидатов
Лидерборд нужен, чтобы отсеять заведомо слабых и оставить несколько подходящих моделей.
3
Тестируйте на своих задачах
Дайте кандидатам одни и те же ваши реальные запросы и сравните ответы сами.
4
Учитывайте цену и скорость
Если разница в качестве мала, выбирайте ту, что дешевле и быстрее под ваш объём работы.

Помните про возраст рейтинга

Модели обновляются постоянно, и рейтинг быстро устаревает. Месяц назад первой была одна модель, сегодня - другая. Смотрите на свежие данные и не держитесь за вывод, который сделали полгода назад.