раздел 05

Когда это оправдано против облачного API

Что это

Главный вопрос: стоит ли вообще городить self-host или проще платить за облачный API. Ответ сводится к двум вещам - деньгам (точка окупаемости) и неденежным причинам (приватность, контроль).

Логика денег

Облачный API: платите за каждый токен. Нулевые вложения, цена растёт строго с объёмом. Мало запросов - почти бесплатно. Много - счёт большой.
Self-host: платите за железо или аренду GPU - постоянная сумма независимо от числа запросов. Один запрос в день - дорого за штуку. Миллион запросов - дёшево за штуку.

Где-то эти линии пересекаются. До точки пересечения дешевле API, после - свой хостинг.

Точка окупаемости на пальцах

Прикидка такая:

Возьмите ваш реальный месячный объём токенов.
Посчитайте, во что он обойдётся через API (объём × цена за токен).
Посчитайте стоимость self-host в месяц (аренда GPU или амортизация своей карты + обслуживание).
Сравните. Если API в месяц выходит заметно дороже self-host - точка окупаемости пройдена.

Когда self-host оправдан без всякой арифметики

Эти причины перевешивают деньги:

Приватность. Данные нельзя отдавать наружу - и точка.
Контроль версии. Поведение модели должно быть стабильным и предсказуемым.
Независимость. Не хотите зависеть от доступности и политики провайдера.
Офлайн. Работа без интернета или в закрытом контуре.

Пример

Стартап обрабатывает 50 000 запросов в день - стабильно и помногу. Через API счёт большой и растёт. Считают: аренда подходящего GPU в месяц выходит заметно дешевле, чем API на этом объёме. Плюс часть данных чувствительна. Решение очевидно: self-host. А вот их же соседи с парой сотен запросов в день остаются на API - городить сервер ради этого незачем.

Антипаттерны

Разворачивать у себя «чтобы сэкономить» на малом объёме. Чаще выходит дороже и сложнее.
Считать только цену токенов, забыв про обслуживание. Время на поддержку сервера тоже стоит денег.
Игнорировать неденежные причины. Иногда приватность важнее любой арифметики - и наоборот, без неё на малом объёме self-host не нужен.