Модель помощника¶
Помощник и модель — разные уровни.
Помощник задаёт инструкции, знания, сервисы и права. Модель генерирует ответ.
Централизованный модельный маршрут¶
В ИИ Студии фактический модельный маршрут управляется администратором через Центр управления моделями.
Это позволяет централизованно контролировать GPU, нагрузку, стоимость, границу данных и список квалифицированных моделей.
Помощник не должен использоваться как способ обойти эту политику.
Пять критериев выбора¶
Качество¶
Тестируйте на реальных задачах организации, а не по общему рейтингу модели.
Контекст¶
Инструкции, история, File Context, retrieval и результаты сервисов потребляют общий контекст.
Скорость¶
Для массового помощника быстрый стабильный профиль иногда лучше более крупной, но медленной модели.
Стоимость¶
Для облачного модельного маршрута учитываются входные и выходные токены и связанные вызовы сервисов.
Граница данных¶
Локальная модель и Yandex AI — разные контуры обработки.
Универсальный помощник¶
Нужен сбалансированный general-purpose профиль. Проверьте тексты, объяснения, документы, несложный код, русский язык и работу с инструментами.
Разработчик¶
Отдельно тестируйте реальные ошибки, patch, сохранение API, тесты, конфигурации и code review.
Наличие coding-профиля в каталоге не означает, что он автоматически лучший для каждого сервера.
Документы¶
Если плох retrieval, смена модели не исправит источник.
Диагностика:
файл правильный?
индекс готов?
нужный chunk найден?
chunk передан модели?
только после этого — оценка генерации
Инструменты¶
Приёмка модели должна включать выбор правильного инструмента, отказ от лишнего, корректные параметры, использование фактического результата и обработку ошибки.
Локальная модель¶
Преимущества:
- основной запрос и контекст внутри инфраструктуры;
- контроль версии;
- нет внешней токенной оплаты.
Ограничения:
- GPU;
- совместная нагрузка;
- VRAM;
- рабочий контекст;
- скорость.
Yandex AI¶
Полезен при необходимости управляемого внешнего inference.
При этом запрос и необходимый контекст передаются во внешний сервис.
Переход на Yandex AI в Студии выполняется явным административным действием. Скрытого перехода с локальной модели на Yandex AI не предполагается.
Не привязывайте инструкцию к конкретному файлу весов¶
Плохо:
Ты Qwen3.8 27B.
Лучше:
Проверяй исходные данные, отделяй факт от гипотезы, указывай неопределённость.
Так помощник переносим между квалифицированными моделями.
A/B-тест¶
Не меняйте одновременно модель, инструкцию и знания.
1. фиксированная инструкция
2. фиксированная база
3. 20–50 реальных задач
4. ответы A и B
5. blind review
6. качество
7. latency
8. стоимость
9. tool reliability
Матрица оценки¶
| Критерий | Вес |
|---|---|
| Фактическая точность | 30% |
| Следование инструкции | 20% |
| Работа с инструментами | 15% |
| Работа с документами | 15% |
| Скорость | 10% |
| Стоимость/ресурсы | 10% |
Когда проблема не в модели¶
- плохая инструкция;
- отсутствующий документ;
- неверный retrieval;
- 403 сервиса;
- неверная область доступа;
- слишком длинный старый чат.
Когда смена оправдана¶
- устойчиво низкое качество;
- плохой выбор операций;
- не хватает контекста;
- coding требует specialist;
- нагрузка выше возможностей;
- стоимость неоправданна.
После смены повторите acceptance suite.