Опыт команды · AI и серверы
AI-платформа для государственного сервиса в закрытой сети
- Что сделано
- Чат с языковой моделью, ответы по внутренним документам и генерация изображений — на серверах заказчика, без доступа в интернет.
- Наша роль
- Наш инженер по инфраструктуре отвечал за инфраструктуру и развёртывание моделей в составе команды проекта.
Ассистент по документам
Сеть: без интернета · серверы вашиМодель в вашей сетиКопии баз делаются каждую ночь и хранятся 30 дней на отдельном сервере внутри сети. Проверка восстановления — раз в месяц.
Копии баз делаются каждую ночь и хранятся 30 дней на отдельном сервере внутри сети.
4.2. Резервное копирование
Резервные копии баз данных делаются каждую ночь и хранятся 30 дней на отдельном сервере внутри сети.
4.3. Проверка восстановления из копии — раз в месяц.
4.2. Резервное копирование
Резервные копии баз данных делаются каждую ночь и хранятся 30 дней на отдельном сервере внутри сети.
4.3. Проверка восстановления из копии — раз в месяц.
Что было нужно
Дать сотрудникам AI-инструменты так, чтобы модели и данные не выходили за периметр организации.
Что сделано
- Чат с языковой моделью и ответы по внутренним документам с поиском в PostgreSQL (pgvector).
- Единый вход через Keycloak, вход по ЭЦП и через eGov Mobile.
- Сервис генерации изображений на видеокартах NVIDIA L40S.
- Kubernetes на Talos Linux и Cilium; сборка и выкатка через GitLab CI в два отдельных контура.
- Веса моделей и пакеты идут через внутреннее зеркало Nexus — серверам не нужен интернет.
Копии баз делаются каждую ночь и хранятся 30 дней на отдельном сервере внутри сети.
4.2. Резервное копирование
Резервные копии баз данных делаются каждую ночь и хранятся 30 дней на отдельном сервере внутри сети.
4.3. Проверка восстановления из копии — раз в месяц.
Вклад
Наш инженер по инфраструктуре отвечал за инфраструктуру и развёртывание моделей в составе команды проекта.
Результат
Модели и данные остаются внутри периметра заказчика.
Кому подойдёт
Госорганам и компаниям, которым нельзя передавать данные во внешние AI-сервисы.
Стадия
Разработано · опыт команды