Перейти к содержанию

Проверка состояния

Два уровня проверки

В 0.3.66 состояние можно проверять:

  1. из интерфейса администратора;
  2. через штатные команды сервера.

Оба способа нужны.

«Параметры → Система»

Администратор видит живую эксплуатационную сводку.

Текущие показатели обновляются автоматически примерно каждые 5 секунд.

Показываются:

  • CPU;
  • оперативная память;
  • диск;
  • сеть;
  • время работы;
  • основные службы;
  • активная модель;
  • GPU;
  • локальные объёмы данных;
  • финансовый контур;
  • состояние сертификата;
  • последняя готовая резервная копия;
  • состояние проверки версии.

История доступна за:

  • 1 час;
  • 6 часов;
  • 24 часа;
  • 7 дней;
  • 30 дней.

Метрики локальной модели

Если активен основная среда выполнения vLLM, дополнительно могут отображаться:

  • число выполняющихся запросов;
  • очередь;
  • использование KV-кэша;
  • скорость генерации;
  • p95 полной задержки;
  • p95 времени до первого токена.

Для Yandex AI такие локальные метрики не выдумываются.

Командная проверка

Состояние контейнеров

Для 0.3.66 ожидайте 19 основных служб + 2 optional GPU runtime. В обязательный контур входят новые backup-manager и updater.

./nicesoft.sh status

Полная штатная проверка

./nicesoft.sh health

В 0.3.66 команда проверки состояния проверяет основные службы, пользовательский интерфейс, административный контур, Redis, поиск, Model Manager, Яндекс-шлюз, службу сертификатов и другие обязательные зависимости.

Отсутствие уже установленной рабочей модели на абсолютно новом сервере само по себе не означает повреждение инфраструктуры — до завершения мастера это допустимое состояние.

Яндекс Облако

./nicesoft.sh yc-doctor

Проверяет:

  • наличие авторизованного ключа;
  • получение IAM-учётных данных;
  • рабочую область Cloud/Folder;
  • доступ шлюза;
  • диагностический контракт интеграции.

Интернет-поиск

./nicesoft.sh web-search-check

Проверяется локальный поисковый контур и защищённый извлекатель страниц.

Логи

Общий просмотр:

./nicesoft.sh logs

Конкретная служба:

./nicesoft.sh logs certificates
./nicesoft.sh logs model-manager
./nicesoft.sh logs model-runtime
./nicesoft.sh logs web-scraper
./nicesoft.sh logs yandex-gateway

Перед отправкой журналов в поддержку удаляйте секретные значения и персональные данные.

Проверка сертификата

В интерфейсе:

Параметры → Сертификат и домен.

На сервере:

openssl x509 -in data/tls/server.crt -noout -dates -issuer -subject -fingerprint -sha256

Если интерфейс говорит, что рабочий proxy использует другой отпечаток, проверьте автоматическое перечитывание NGINX.

Проверка GPU

На хосте:

nvidia-smi

Важны:

  • название GPU;
  • число устройств;
  • VRAM;
  • доступность драйвера.

Но окончательную совместимость модели оценивает Model Manager, а не человек по одной строке nvidia-smi.

Если проверка состояния показывает ошибку

Не перезапускайте всё вслепую.

Идите сверху вниз:

ВМ
↓
Docker
↓
конкретный контейнер
↓
его зависимости
↓
журнал
↓
пользовательская функция

Пример: если не работает чат, сначала выясните, отвечает ли api, затем активна ли модель. Не начинайте с удаления базы данных.

Ежедневный минимальный контроль

  • Студия открывается по рабочему HTTPS-адресу.
  • Сертификат не приближается неожиданно к окончанию.
  • Диск не заполнен.
  • Основные службы зелёные.
  • Модель отвечает.
  • Нет устойчивой очереди/аномальной задержки.
  • Последняя резервная копия имеет ожидаемую дату.

После обновления или восстановления

Всегда добавляйте отрицательные тесты:

  • USER не стал ADMIN;
  • код не включился;
  • скрытый переход в Yandex AI не появился;
  • внутренние URL не читаются через веб-поиск;
  • границы файлов пользователей сохранены.

Это часть проверки безопасности, даже если все контейнеры имеют статус healthy.