Перейти к содержанию

Установка на НАЙС.ОС

Когда использовать этот вариант

Используйте ручную установку на НАЙС.ОС, если:

  • сервер находится в собственной инфраструктуре;
  • развёртывание выполняется не из готового облачного образа;
  • нужен контролируемый закрытый контур;
  • создаётся испытательный стенд;
  • организация самостоятельно управляет Docker и средой выполнения NVIDIA.

Для Яндекс Облака обычному заказчику проще использовать готовый образ ВМ.

Требования

Для штатной локальной модели нужны:

  • Linux x86_64;
  • Docker;
  • Docker Compose plugin;
  • Python 3;
  • curl;
  • ip;
  • openssl;
  • поддерживаемый NVIDIA GPU;
  • драйвер NVIDIA;
  • NVIDIA Container Toolkit;
  • исходящий HTTPS для загрузки контейнеров и моделей либо заранее подготовленный автономный комплект.

Без GPU Студия может запустить инфраструктурную часть, но локальная рабочая модель текущего профиля не считается готовой.

1. Распакуйте версионированный выпуск

Не используйте произвольную ветку исходного проекта и не собирайте рабочий сервер из latest.

Рабочий каталог должен содержать как минимум:

compose.yml
nicesoft.sh
VERSION
UPSTREAM.lock
librechat.yaml
config/
overrides/
scripts/
services/

2. Инициализация экземпляра

Выполните:

./nicesoft.sh init

На новой установке будут подготовлены:

  • .env;
  • секреты;
  • адрес экземпляра;
  • TLS-комплект;
  • локальный сертификат, если рабочего сертификата ещё нет.

Локальный сертификат 0.3.66 действует 10 лет и не привязан к IP.

3. Предварительная проверка

./nicesoft.sh check

Проверяются:

  • Docker;
  • доступность Docker daemon;
  • Docker Compose;
  • Python;
  • curl;
  • ip;
  • openssl;
  • адрес экземпляра;
  • bind-адрес;
  • GPU;
  • контейнерный доступ к GPU.

Если GPU виден на хосте, но не виден из Docker, сначала исправьте NVIDIA Container Toolkit.

4. Установка

./nicesoft.sh install

Команда выполняет полный первый запуск поставляемого стека и затем проверяет его состояние.

Локальную рабочая модель во время shell-установки выбирать не требуется.

После входа ADMIN откройте «Модели» и используйте штатный мастер.

5. Первый вход

Откройте:

https://<адрес>:8143/

На локальном сертификате браузер покажет предупреждение. Сверьте адрес сервера, добавьте временное исключение и зарегистрируйте первый локальный аккаунт.

На чистой установке первый аккаунт становится ADMIN.

Подробно: Развёртывание в Яндекс Облаке → Первый вход.

6. Модель

Мастер:

  1. определит реальный GPU;
  2. измерит VRAM/RAM;
  3. проверит диск;
  4. предложит Bootstrap;
  5. рассчитает рекомендацию рабочей модели;
  6. проверит официальный источник;
  7. установит модель;
  8. активирует её только после готовности.

7. Проверка

./nicesoft.sh status
./nicesoft.sh health

Для логов:

./nicesoft.sh logs

или конкретная служба:

./nicesoft.sh logs model-runtime

8. Сеть

Минимально откройте только необходимые порты.

Внешнему пользователю не нужны прямые порты:

  • MongoDB;
  • PostgreSQL;
  • Redis;
  • Meilisearch;
  • RAG;
  • Prometheus;
  • служба сертификатов;
  • Model Manager.

9. TLS

Сразу после проверки модели настройте доверенный сертификат через Параметры → Сертификат и домен.

См. HTTPS и доменное имя.

10. После установки

Создайте резервную копию:

./nicesoft.sh backup

Зафиксируйте:

  • VERSION;
  • SHA-256 релизного архива;
  • модель GPU;
  • активную модель;
  • домен;
  • тип сертификата;
  • дату резервной копии.