Перейти к содержанию

Локальная и облачная модель

Зачем нужна отдельная страница

В ИИ Студии локальная и облачная модели доступны через единый интерфейс, но с точки зрения безопасности это два разных контура обработки.

Пользователь должен понимать это до отправки данных, а администратор — до включения модели для организации.

Главное различие

Локальная модель

Вычисление выполняется на оборудовании, которым управляет организация или выбранный ею инфраструктурный контур.

пользователь → ИИ Студия → локальная модель → ответ

Yandex AI

Для получения ответа необходимый модельный запрос передаётся в Yandex AI Studio.

пользователь → ИИ Студия → шлюз → Yandex AI Studio → ответ

Оба режима могут быть допустимыми для своей задачи, но требования к данным у них разные.

Что означает «локальная модель»

Локальная модель означает локальное модельное вычисление.

Она не означает автоматически:

  • отсутствие Интернета у сервера;
  • отсутствие интернет-поиска;
  • отсутствие внешних сервисов;
  • отсутствие резервных копий;
  • отсутствие удалённого администрирования;
  • отсутствие интеграции с Яндекс Облаком.

Корректная формулировка:

локальная модель позволяет выполнять модельное вычисление без обязательной передачи запроса внешнему поставщику модели.

Что может оставаться локально

При локальном разговоре без внешних сервисов на серверной стороне Студии могут оставаться:

  • история разговора;
  • системная инструкция;
  • файлы;
  • найденные RAG-фрагменты;
  • память;
  • настройки помощника;
  • ответ модели.

Фактическая схема хранения зависит от конфигурации установки и резервного копирования.

Что передаётся Yandex AI

Во внешний модельный контур передаётся то, что необходимо для ответа.

Это может быть:

  • текущий запрос;
  • предыдущий контекст разговора;
  • инструкции помощника;
  • найденные фрагменты файлов;
  • результаты поиска;
  • данные разрешённого сервиса, если они попали в контекст.

Не должно передаваться как содержимое разговора

  • закрытая часть авторизованного ключа;
  • IAM-токен;
  • серверные секреты Студии.

Эти значения нужны серверному шлюзу для технической авторизации и не должны становиться пользовательским контекстом.

Авторизация Yandex AI

авторизованный ключ
        ↓
серверный шлюз
        ↓
краткоживущий IAM-токен
        ↓
Yandex AI Studio

Браузер пользователя не должен получать ни закрытую часть ключа, ни IAM-токен.

Подробнее: Секреты и ключи.

Почему нет скрытого перехода в облако

Одна из принципиальных политик Студии:

отказ локальной модели не является разрешением автоматически отправить тот же запрос в Yandex AI.

Иначе пользователь мог бы начать работу в локальном режиме, а после технической ошибки незаметно оказаться во внешнем контуре.

Правильное поведение:

  1. локальная модель работает;
  2. возникает ошибка;
  3. система сообщает об ошибке или использует заранее предусмотренный безопасный локальный маршрут;
  4. переход на внешний поставщик выполняется только в соответствии с явной административной конфигурацией.

Фактическая модель ответа

Исторический разговор должен по возможности сохранять сведения о том, какая модель действительно сформировала конкретный ответ.

Это важно для:

  • безопасности — можно восстановить контур обработки;
  • качества — можно сравнить модели;
  • расходов — можно понять, где использовался платный вызов.

Не полагайтесь только на текущую активную модель: она могла измениться после создания старого ответа.

Локальная модель и файлы

Небольшой файл целиком

файл → извлечение текста → контекст → локальная модель

Содержание может остаться в локальном модельном контуре.

RAG

документ → локальный индекс → найденные фрагменты → локальная модель

Тоже может оставаться локально.

Но

Если активна Yandex AI, найденные фрагменты могут быть переданы облачной модели.

Поэтому доступ к документу и выбор модели оценивайте вместе.

Локальная модель и интернет-поиск

локальная модель + интернет-поиск

не является полностью локальной сетевой операцией.

Модель работает внутри сервера, однако поиск требует обращения к внешним источникам.

При чувствительной теме формулируйте поисковый запрос без секретных значений.

Yandex AI и интернет-поиск

В таком сценарии существуют как минимум две внешние границы:

  1. поиск и получение внешних страниц;
  2. облачная модель.

Не объединяйте их в одну оценку.

Yandex AI и корпоративная база знаний

Это один из самых важных сценариев для внутренней политики.

Исходный документ может храниться только внутри Студии, но:

вопрос
  ↓
локальный поиск по документам
  ↓
релевантный фрагмент
  ↓
Yandex AI

Следовательно, локальное хранение файла не равно запрету передачи информации из файла внешней модели.

Если определённую категорию документов нельзя использовать с внешними моделями, это должно быть организационным и техническим правилом, а не надеждой на память пользователя.

Пример внутренней классификации

Ниже пример, а не универсальное юридическое правило.

Категория Возможный подход
Общедоступная информация локальная или разрешённая облачная модель
Обычные внутренние документы по политике организации
Коммерчески чувствительные данные преимущественно локальный контур или отдельно согласованный внешний
Персональные данные после определения правового основания и допустимого контура
Пароли, ключи, токены не помещать в модельный запрос
Данные высокой критичности отдельная модель угроз и утверждённый режим

Организация должна определить собственную классификацию.

Простое правило для пользователя

Перед отправкой внутреннего материала проверьте:

  1. Какая модель активна?
  2. Включён ли интернет-поиск?
  3. Используется ли внешний сервис?
  4. Может ли содержимое документа быть передано выбранной модели?
  5. Разрешён ли сценарий внутренней политикой?

Если на любой вопрос нет ответа — не отправляйте чувствительные данные до уточнения.

Правило для администратора

Перед включением Yandex AI:

  1. определите владельца решения;
  2. зафиксируйте допустимые категории данных;
  3. настройте отдельную служебную учётную запись;
  4. ограничьте её права;
  5. проверьте AI Studio Folder;
  6. выполните нейтральный проверочный запрос;
  7. проверьте фактическую модель ответа;
  8. проверьте отсутствие скрытого перехода из локального режима;
  9. обучите пользователей различать режимы;
  10. зафиксируйте решение в корпоративной документации.

Отключение сохранения запросов на стороне Yandex AI

Шлюз текущей архитектуры использует предусмотренный Yandex AI Studio механизм отключения сохранения данных запроса на стороне сервиса.

Это полезная мера конфиденциальности, но она не означает, что:

  • запрос не передаётся в Yandex AI;
  • обработка происходит локально;
  • внешний контур можно не учитывать;
  • исчезают собственные журналы Студии;
  • исчезают требования внутренней политики.

Корректная формулировка:

запрос передаётся для выполнения модельного вычисления, при этом применяется предусмотренный поставщиком режим уменьшения серверного сохранения данных запроса.

Ошибка Yandex AI

Не исправляйте 403 выдачей полного администратора облака.

Проверяйте по порядку:

  1. авторизованный ключ;
  2. получение IAM-токена;
  3. AI Studio Folder;
  4. роль ai.languageModels.user;
  5. доступность модели;
  6. журнал шлюза;
  7. идентификатор запроса.

Подробнее: Диагностика Яндекс Облака.

Ошибка локальной модели

Не включайте Yandex AI только как способ «быстро восстановить сервис», если политика данных этого не допускает.

Проверьте:

  • GPU;
  • свободную видеопамять;
  • состояние среды модели;
  • установленную модель;
  • диск;
  • журналы;
  • Центр управления моделями.

Подробнее: Ошибки моделей.

Контрольный тест границы

Локальный режим

  1. Активируйте локальную модель.
  2. Отключите внешние функции.
  3. Отправьте нейтральный запрос.
  4. Проверьте фактическую модель ответа.

Yandex AI

  1. Явно активируйте разрешённую Yandex-модель.
  2. Выполните нейтральный запрос.
  3. Проверьте модель ответа.
  4. Проверьте журнал шлюза без раскрытия секрета.

Ошибка локальной модели

На испытательном стенде смоделируйте недоступность локальной модели.

Ожидаемо:

ошибка / безопасный локальный сценарий

а не скрытая отправка того же текста в Yandex AI.

См. также