Программный комплекс «ЦСТ.Локальный LLM-шлюз»
Решение для организации диалогового доступа к большим языковым моделям в закрытом контуре.
Программный комплекс «ЦСТ.Локальный LLM-шлюз» предназначен для организации диалогового доступа пользователей к большим языковым моделям (LLM), развернутым в локальной или контролируемой инфраструктуре организации. ПО предоставляет веб-интерфейс с учетными записями, ролями и историей диалогов, подключается к OpenAI-совместимым серверам и может управлять очередями, запуском и переключением серверов моделей через собственный шлюз.
Ключевые возможности
- Аутентификация и разграничение ролей (пользователь, администратор).
- Создание и хранение истории чатов в локальной базе SQLite.
- Выбор подключенной языковой модели.
- Потоковое отображение ответа и рассуждений модели.
- Статистика запросов и администрирование пользователей.
- Резервное копирование и восстановление базы данных.
- Необязательный шлюз для управления очередями и переключения моделей.
- Экспорт эксплуатационных метрик шлюза в формате Prometheus.
- Поддержка аппаратных ускорителей (STC/Teco AC700).
Технические требования
- ОС: Ubuntu 22.04.5 LTS (x86-64).
- Python: CPython 3.10.12.
- Веб-стек: FastAPI, Uvicorn, HTTPX.
- Контейнеризация: Docker.
Стоимость и условия предоставления лицензии
Право использования программного комплекса предоставляется на условиях годовой подписки. Стоимость одной подписки составляет 380 000 (Триста восемьдесят тысяч) рублей в год.
Единица лицензирования
Одна подписка предоставляет право использования программного комплекса для одного пользователя и обеспечивает работу с одной аппаратной картой ускорителя (например, STC/Teco AC700), установленной в сервере.
Состав поставки
- Лицензия на ПО (право использования веб-приложения и шлюза моделей в течение 12 месяцев, доступ к обновлениям и техподдержке).
- Аппаратное обеспечение (сервер с картой ускорителя AC700) может поставляться в составе программно-аппаратного комплекса (ПАК) или приобретаться отдельно.
Для одновременной работы нескольких пользователей или использования нескольких аппаратных карт в одном сервере требуется приобретение соответствующего количества лицензий.
Техническая документация и поддержка
Для ознакомления с техническими характеристиками и правилами эксплуатации программного комплекса подготовлены следующие документы.
- Описание программного обеспечения (PDF)
- Функциональные характеристики (PDF)
- Описание архитектуры (PDF)
- Инструкция по установке и развертыванию (PDF)
- Руководство пользователя (PDF)
- Руководство администратора (PDF)
- Описание процессов жизненного цикла (PDF)
Контакты технической поддержки
- Email: support@stc.com.ru
- Телефон: +7 (499) 380-83-80
- Режим работы: рабочие дни с 09:00 до 18:00 по московскому времени.