раздел 00
Зачем разворачивать модель у себя
Что это за тема
Опенсорс-модель можно не вызывать через чужой API, а скачать и запустить на своём железе - на ноутбуке, рабочей станции или сервере с видеокартой. Это называется self-hosting. Модель работает локально, данные никуда не уходят, а за каждый запрос вы не платите провайдеру.
Зачем это вам
- Приватность. Данные не покидают ваш контур. Для медицины, финансов, персональных данных и коммерческой тайны это часто решающий аргумент.
- Цена. Платите за железо или аренду GPU, а не за каждый токен. На больших объёмах это в какой-то момент становится дешевле API.
- Контроль. Версия модели зафиксирована. Её не обновят без вас, не изменят поведение, не закроют доступ.
- Без лимитов. Нет ограничений на число запросов в минуту и квот провайдера - упираетесь только в своё железо.
Когда это НЕ нужно
Честно: чаще всего на старте self-host не нужен. Если объём небольшой, данные не секретные и хочется просто работать - облачный API или агрегатор проще, дешевле и быстрее в запуске. Свой хостинг оправдан, когда есть приватность, большой стабильный объём или требование контроля.
Что будет в курсе
- 00 - зачем разворачивать у себя. Вы здесь.
- 01 - что такое опенсорс-модели и чем отличаются от закрытых.
- 02 - железо: GPU, VRAM, квантизация, что влезет на 8/16/24/80 ГБ.
- 03 - инструменты: Ollama, LM Studio, vLLM, TGI.
- 04 - где развернуть: свой сервер или облако с GPU.
- 05 - когда это оправдано против облачного API: точка окупаемости.
- 06 - шпаргалка и словарь терминов.
Каждая страница: что это, зачем, как, пример и где ошибаются.