Программный комплекс «ЦСТ.Локальный LLM-шлюз»

Решение для организации диалогового доступа к большим языковым моделям в закрытом контуре.

Программный комплекс «ЦСТ.Локальный LLM-шлюз» предназначен для организации диалогового доступа пользователей к большим языковым моделям (LLM), развернутым в локальной или контролируемой инфраструктуре организации. ПО предоставляет веб-интерфейс с учетными записями, ролями и историей диалогов, подключается к OpenAI-совместимым серверам и может управлять очередями, запуском и переключением серверов моделей через собственный шлюз.

Ключевые возможности

  • Аутентификация и разграничение ролей (пользователь, администратор).
  • Создание и хранение истории чатов в локальной базе SQLite.
  • Выбор подключенной языковой модели.
  • Потоковое отображение ответа и рассуждений модели.
  • Статистика запросов и администрирование пользователей.
  • Резервное копирование и восстановление базы данных.
  • Необязательный шлюз для управления очередями и переключения моделей.
  • Экспорт эксплуатационных метрик шлюза в формате Prometheus.
  • Поддержка аппаратных ускорителей (STC/Teco AC700).

Технические требования

  • ОС: Ubuntu 22.04.5 LTS (x86-64).
  • Python: CPython 3.10.12.
  • Веб-стек: FastAPI, Uvicorn, HTTPX.
  • Контейнеризация: Docker.

Стоимость и условия предоставления лицензии

Право использования программного комплекса предоставляется на условиях годовой подписки. Стоимость одной подписки составляет 380 000 (Триста восемьдесят тысяч) рублей в год.

Единица лицензирования

Одна подписка предоставляет право использования программного комплекса для одного пользователя и обеспечивает работу с одной аппаратной картой ускорителя (например, STC/Teco AC700), установленной в сервере.

Состав поставки

  1. Лицензия на ПО (право использования веб-приложения и шлюза моделей в течение 12 месяцев, доступ к обновлениям и техподдержке).
  2. Аппаратное обеспечение (сервер с картой ускорителя AC700) может поставляться в составе программно-аппаратного комплекса (ПАК) или приобретаться отдельно.

Для одновременной работы нескольких пользователей или использования нескольких аппаратных карт в одном сервере требуется приобретение соответствующего количества лицензий.

Техническая документация и поддержка

Для ознакомления с техническими характеристиками и правилами эксплуатации программного комплекса подготовлены следующие документы.

Контакты технической поддержки