курс 101 для чайников

Свои
опенсорс-модели

Опенсорс-модели можно скачать и запустить на своём железе. Это даёт приватность, контроль и предсказуемую цену без лимитов провайдера. Но требует видеопамяти и понимания, что и куда влезет. Этот курс по порядку объясняет, зачем разворачивать модель у себя, какое нужно железо, чем запускать и когда это дешевле облачного API. На пальцах, с ориентирами.

Маршрут один и тот же: зачем → что за модели → железо → инструменты → где развернуть → когда окупается.

Начать с начала →Сразу к шпаргалке

о чём этот курс

Данные нельзя отдавать в облако

Приватность - частая причина self-host. Разберём, что это даёт и чего стоит.

Не понимаю, что влезет в мою видеокарту

VRAM, квантизация, размер модели. Покажем таблицу «сколько ГБ -> какая модель».

API стало дорого

Посчитаем точку окупаемости: когда свой сервер дешевле облачного API.

программа курса

Зачем разворачивать у себя

Приватность, цена, контроль, отсутствие лимитов. Когда свой сервер с моделью выигрывает у облачного API, а когда нет.

Что такое опенсорс-модели

Llama, Qwen, DeepSeek, Mistral, Gemma - что это, кто их выпускает и чем они отличаются от закрытых GPT и Claude.

Железо

1 урок

GPU и VRAM, квантизация 4 и 8 бит. Что реально влезет на 8, 16, 24 и 80 ГБ видеопамяти.

· Квантизация на пальцах

Инструменты

Ollama и LM Studio для локального запуска, vLLM и TGI для сервера под нагрузкой. Что выбрать под свой сценарий.

Где развернуть

Свой сервер или облако с GPU. Ориентиры по стоимости аренды видеокарт как порядок величин.

Когда это оправдано

Точка окупаемости: при каком объёме запросов свой хостинг дешевле облачного API, а при каком - наоборот.

Шпаргалка

1 урок

Таблица «VRAM -> что влезет», выбор инструмента и словарь терминов на одной странице.

· Словарь терминов