раздел 03
Мониторинг без смены кода
Если менять архитектуру под шлюз не хочется, а видеть расходы нужно - берите мониторинг. Это сервис, который собирает данные о ваших запросах (через лёгкую обёртку, прокси-URL или доступ к ключам) и показывает всё в одном дашборде: сколько потрачено, по каким моделям и проектам, плюс алерты при превышении порога.
Что обычно умеет мониторинг
Дашборд расходов
Траты по дням, моделям, ключам и проектам в одном месте.
Алерты по порогам
Уведомление в почту или мессенджер, когда расходы за период перевалили за лимит.
Логи запросов
Что именно отправлялось и сколько стоило - удобно искать, где течёт.
Популярные инструменты
Helicone
Наблюдаемость для LLM: подключается одной строкой (прокси или заголовок), показывает расходы, логи и латентность. Open-source и облако.
Langfuse
Open-source платформа трейсинга и аналитики LLM-приложений: стоимость по запросам, дашборды, оценка качества.
API Spend Guard и подобные
Из поиска по GitHub попадаются узкие инструменты «только мониторинг»: читают расходы через API-ключи без прокси и шлют алерты по порогам. Проверяйте лицензию и свежесть.
Дашборды провайдеров
Бесплатный минимум - кабинеты OpenAI, Anthropic и др. Видно расходы по конкретному сервису, но не общая картина.
Мониторинг против шлюза
Мониторинг - наблюдать
Видите траты и получаете алерты, но не блокируете перерасход на лету. Код менять почти не нужно.
Шлюз - управлять
Жёсткие бюджеты и лимиты режут перерасход сразу, но весь трафик идёт через ваш слой.