WWWN
IT SOLUTIONSПРОЕКТНОЕ ДЕЛО02 / 05
LLMOPS · РЕФЕРЕНСНАЯ АРХИТЕКТУРА
Как подготовить AI-ассистента к работе в компании
Референсное решение для внутреннего AI-сервиса: доступ сотрудников и приложений, контроль нагрузки и проверка ответов перед обновлениями.
Референсная архитектура. Готовность к внедрению и показатели работы проверяются на пилоте.
01
Задача
Тестовый чат еще не готовый рабочий инструмент
Ассистент может хорошо отвечать на тестовые вопросы, но для ежедневной работы компании нужны еще правила доступа, ограничения нагрузки и диагностика ошибок. Отдельная задача — понять до обновления, не стала ли новая модель или версия промпта отвечать хуже.
02
Решение
Общий AI-сервис с понятными правилами работы
Приложения подключаются к моделям через общий шлюз, который проверяет доступ и применяет лимиты. Состояние сервиса видно в мониторинге, а историю запросов можно разобрать по трассировкам. Для обновлений предусмотрено сравнение ответов на согласованном наборе вопросов.
03
Как это работает
Запрос обрабатывается, обновление проверяется отдельно
Работа пользователя и выпуск новых версий — два отдельных процесса. Проверка обновления позволяет оценить изменение до того, как оно попадет в ежедневную работу.
- 01
Приложение отправляет запрос через шлюз с правилами доступа и лимитами.
- 02
Модель формирует ответ; метрики и трассировки помогают разбирать ошибки и задержки.
- 03
Перед обновлением команда сравнивает версии на тестовых запросах и оценивает качество, скорость и ресурсы.
Техническая схема и инструменты+
Техническая схемаЛОГИЧЕСКИЕ СВЯЗИ→ действие или передача данных · — функциональная связь. Одинаковые подписи обозначают один и тот же компонент.
Запрос к модели
ПриложениеAI-ассистент
Запрос
Kong EnterpriseAI gateway · доступ и лимиты
Доступ и лимиты
vLLMИнференс в Kubernetes
Нагрузка и ошибки
vLLMИнференс в Kubernetes
Метрики
Prometheus / GrafanaМетрики и алерты
Диагностика ответов
ПриложениеAI-ассистент
Трассировки
LangfuseТрассировки и оценка
Проверка изменений
Git / CI/CDВерсии и релизы
Сравнение версий
LangfuseТрассировки и оценка
Выпуск версии
Git / CI/CDВерсии и релизы
После проверок
vLLMИнференс в Kubernetes
Референсная архитектура. Запросы, телеметрия и релизы показаны отдельно. Стрелка метрик обозначает движение данных, а не инициатора сетевого запроса.
- Приложение
- AI-ассистент
- Kong Enterprise
- AI gateway · доступ и лимиты
- vLLM
- Инференс в Kubernetes
- Prometheus / Grafana
- Метрики и алерты
- Langfuse
- Трассировки и оценка
- Git / CI/CD
- Версии и релизы
OIDC · AI Rate Limiting Advanced · Langfuse · Prometheus · Grafana
04
Что проверяем на пилоте
Подтвердить, что решение подходит конкретной компании
Ожидаемый результат — AI-сервис для ежедневной работы компании с понятными доступами, контролем нагрузки и проверкой новых версий. Это проектная схема: качество ответов, задержки и стоимость работы нужно подтвердить на пилоте с реальными задачами компании.
- Проверить ответы на согласованном наборе запросов.
- Измерить задержки, использование GPU и восстановление после отказа.
- Согласовать доступ, лицензии, оборудование и правила хранения данных.
