раздел 01 · подстраница 1

Опенсорс-модели

Что это за тема

Опенсорс-модель - это модель, у которой опубликованы веса (сам «мозг»). Их можно скачать, запустить на своём железе или через сторонний хостинг и дообучить под себя. У закрытых флагманов весов нет: вы общаетесь только через чужой API.

Зачем это вам

  • Приватность. Данные не уходят к внешнему провайдеру - можно держать всё внутри своего контура.
  • Цена. Доступ через хостинг или агрегатор обычно в разы дешевле флагманов, а на своём железе при большом объёме - почти бесплатно за запрос.
  • Контроль. Модель не «исчезнет» и не сменит поведение без вашего ведома. Версию фиксируете вы.

Основные семейства

  • Llama (Meta) - большое сообщество, много готовых дообученных вариантов.
  • Qwen (Alibaba) - сильные модели разных размеров, неплохо знают русский, есть мультимодальные версии.
  • DeepSeek - заметны в рассуждении и коде при низкой цене доступа.
  • Mistral - компактные и быстрые модели из Европы.
  • Gemma (Google) - небольшие модели, удобные для локального запуска.

Названия и версии быстро меняются - ориентируйтесь на семейство и размер, а свежий рейтинг проверяйте перед выбором.

Как этим пользоваться

Три пути доступа:

  • через агрегатор (OpenRouter и подобные) - один ключ, оплата за токены, ничего не разворачиваете;
  • локально (Ollama, LM Studio) - на своём компьютере, бесплатно за запрос, ограничено вашим железом;
  • на своём сервере (vLLM, TGI) - под нагрузку, когда нужен стабильный приватный сервис.

Пример

Стартапу нужен чат-ассистент по внутренней базе знаний, но документы нельзя отдавать наружу. Флагман через публичный API отпадает. Берут опенсорс-модель среднего размера, разворачивают на своём сервере с GPU - данные не покидают периметр, а цена за запрос предсказуема.

Антипаттерны

  • Сразу разворачивать у себя «для экономии». На малых объёмах облачный API или агрегатор дешевле и проще.
  • Брать самую большую модель. Часто средняя решает задачу при кратно меньших требованиях к железу.
  • Игнорировать лицензию. У некоторых моделей есть ограничения на коммерческое использование - проверяйте.

Что дальше

Дальше - критерии выбора: по каким осям сравнивать любые модели, хоть флагман, хоть опенсорс.