Центр управления моделями¶

Что вы сделаете¶

Вы научитесь управлять модельным контуром ИИ Студии как единой системой: проверять оборудование, видеть фактически активную модель, устанавливать локальные модели, переключаться на Yandex AI и понимать, в каком состоянии находится маршрутизация новых разговоров.

1. Что такое Центр управления моделями¶

Центр управления моделями — административный слой НайсСофт между пользовательским чатом и конкретной моделью.

Пользователь работает с ИИ Студией.

Администратор решает, какой вычислительный маршрут обслуживает новые разговоры.

Схема:

пользователь
    ↓
стабильный маршрут ИИ Студии
    ↓
┌──────────────────────────────┐
│ локальная модель             │
│ Yandex AI                    │
│ заранее настроенная внешняя  │
└──────────────────────────────┘

Обычный пользователь не должен самостоятельно менять глобального поставщика модели.

2. Что нужно проверить в первую очередь¶

После открытия Центра управления моделями не нажимайте сразу «Установить».

Сначала проверьте:

обнаруженный GPU;
число GPU;
видеопамять;
оперативную память;
число процессоров;
вычислительную совместимость GPU;
свободное место;
доступность среды NVIDIA;
текущую активную модель;
состояние модели;
наличие незавершённой установки.

3. Аппаратный отчёт¶

Сравните данные интерфейса с сервером.

На сервере можно использовать:

nvidia-smi

и:

free -h

а также:

df -h

Если данные не совпадают¶

Не устанавливайте большую модель.

Проверьте:

видит ли GPU операционная система;
доступен ли GPU контейнерам;
установлен ли нужный NVIDIA-контейнерный стек;
не запущена ли Студия без GPU-профиля;
не изменилось ли оборудование после первого обнаружения.

4. Рекомендация модели¶

Рекомендация учитывает не только число параметров.

Она должна учитывать конкретный рабочий артефакт:

архитектура модели
+
формат весов
+
среда выполнения
+
объём контекста
+
GPU
+
запас памяти
+
тип задачи

Поэтому модель, которая «теоретически помещается», может не получить статус рекомендуемой.

5. Категории моделей¶

В каталоге могут присутствовать несколько типов.

Рабочие проверенные модели¶

Разрешены к автоматизированной установке в подходящей среде.

Оптимизированные варианты¶

Требуют конкретных возможностей GPU.

Специализированные модели¶

Например, для программирования.

NiceSoft Bootstrap¶

Временная модель первого запуска и диагностики.

Кандидаты на будущее¶

Могут отображаться для планирования оборудования, но иметь блокировку установки из-за:

лицензии;
новой среды выполнения;
несовместимой топологии;
отсутствия квалификации.

6. Состояния модели¶

Администратор должен различать как минимум:

не установлена
загружается
проверяется
запускается
готова
активна
ошибка

Не считайте завершением установки просто исчезновение полосы загрузки.

Критерий — готовность модели к реальной генерации.

7. Активная модель¶

Активная модель — та, через которую будут открываться новые разговоры по текущему маршруту.

После активации:

дождитесь состояния готовности;
создайте новый разговор;
выполните тестовый запрос;
проверьте фактическую модель ответа;
проверьте старый разговор отдельно.

Не ожидайте, что уже открытый разговор обязательно изменит модель задним числом.

8. Почему важно хранить фактическую атрибуцию¶

Если организация меняла модели:

январь → локальная модель A
февраль → локальная модель B
март → Yandex AI

история должна позволять понять, какой моделью был создан конкретный ответ.

Это важно для:

воспроизводимости;
анализа качества;
расследования ошибок;
оценки расходов;
проверки границы данных.

9. Переключение локальная → локальная¶

Перед переключением:

убедитесь, что новая модель полностью установлена;
проверьте свободную видеопамять;
завершите критичные пользовательские задачи, если переключение вызывает остановку старой среды;
предупредите пользователей при ожидаемом перерыве.

После переключения:

проверьте готовность;
создайте новый разговор;
проверьте одну типовую задачу;
проверьте нагрузку.

10. Переключение локальная → Yandex AI¶

Это не просто смена модели.

Это изменение границы обработки данных.

Перед активацией:

убедитесь, что организация разрешает внешнюю обработку;
проверьте авторизованный ключ;
проверьте каталог Yandex AI Studio;
проверьте ai.languageModels.user;
выполните проверку доступности модели;
объясните пользователям изменение режима.

После активации новый запрос передаётся в Яндекс Облако для выполнения модели.

11. Переключение Yandex AI → локальная модель¶

Убедитесь, что локальная модель установлена.
Убедитесь, что она готова.
Активируйте её.
Создайте новый разговор.
Проверьте фактическую модель.
Проверьте, что новые запросы больше не идут в Yandex AI.

12. Отсутствие скрытой замены¶

В продуктовом профиле локальная модель не должна незаметно переключаться на Yandex AI при ошибке.

Правильное поведение:

локальная модель недоступна
        ↓
безопасная локальная замена, если заранее предусмотрена
        ↓
либо явная ошибка/отсутствие модели

а не:

ошибка локальной модели
        ↓
молча отправили данные в облако

13. Удаление модели¶

Перед удалением:

проверьте, активна ли модель;
проверьте, выбрана ли она для запуска;
проверьте наличие другой готовой локальной модели;
проверьте политику резервного маршрута.

После удаления:

проверьте активный маршрут;
проверьте новый разговор;
проверьте освобождённое место.

Не удаляйте веса только ради временного освобождения нескольких гигабайт, если модель нужна для отката после обновления.

14. Незавершённая установка¶

Если модель зависла в промежуточном состоянии:

не запускайте вторую установку сразу;
проверьте журнал Центра управления моделями;
проверьте сеть;
проверьте диск;
проверьте процесс загрузки;
проверьте lock состояния подготовки;
только после понимания причины повторяйте операцию.

15. Защита от одновременных администраторов¶

Если два администратора одновременно запускают подготовку разных моделей, система должна использовать блокировку подготовки.

Если видите сообщение о занятой операции:

не удаляйте lock-файл вручную без анализа;
определите, кто запустил операцию;
проверьте состояние процесса;
дождитесь завершения или корректно остановите его.

16. Проверка после перезагрузки сервера¶

После перезагрузки:

проверьте контейнеры;
откройте Центр управления моделями;
убедитесь, что выбранная модель известна системе;
дождитесь восстановления среды;
выполните тестовую генерацию;
убедитесь, что не остался Bootstrap вместо рабочей модели.

17. Что нельзя менять через модельный центр¶

Центр модели не должен использоваться для:

выдачи пользовательских ролей;
изменения прав Яндекс Облака;
управления корпоративной базой знаний;
обхода серверной политики сервисов;
включения выполнения кода.

Это отдельные контуры администрирования.

Контрольный список¶

После любого изменения модели:

состояние Готова;
новый чат создаётся;
ответ приходит;
фактическая модель корректна;
нет постоянных ошибок в журналах;
объём видеопамяти ожидаемый;
граница данных соответствует политике;
старые разговоры не повреждены.

Что дальше¶

Для локальных моделей перейдите к управлению локальными моделями. Для облачного режима — к Yandex AI.