Отложенная загрузка сервисов¶

Если у помощника десятки или сотни доступных операций, полные описания всех операций могут занимать заметную часть контекста модели ещё до начала работы.

В 0.3.66 включена возможность отложенной загрузки: некоторые операции можно не помещать в исходный контекст, а находить только тогда, когда они действительно понадобились.

Почему это важно¶

Плохая схема:

80 операций сервисов
       ↓
80 полных схем в каждом запросе
       ↓
занятый контекст
       ↓
больше токенов
       ↓
хуже выбор нужной операции

Отложенная схема:

80 операций доступны
       ↓
в контексте механизм поиска операций
       ↓
помощник понимает задачу
       ↓
находит 1–3 нужные операции
       ↓
использует их

Когда включать¶

Отложенная загрузка особенно полезна для:

больших облачных интеграций;
наборов административных API;
большого числа редко используемых операций;
универсальных помощников.

Если у помощника всего две короткие операции, выгода минимальна.

Как работает¶

Операция с отложенной загрузкой не передаётся модели полной схемой на первом шаге.

Помощнику доступен механизм поиска подходящих операций. После обнаружения выбранная операция становится доступна для использования в разговоре.

Настройка¶

В редакторе помощника откройте подключённый сервис и отметьте подходящие операции как «Отложить».

Для крупных сервисов интерфейс может позволять отложить весь набор сразу.

После сохранения проверьте реальную работу на типовых запросах.

Не откладывайте очевидно основной инструмент без теста¶

Если 95 % запросов помощника всегда требуют одну конкретную операцию, нет смысла каждый раз заставлять модель сначала искать её.

Например, узкий FinOps-помощник почти всегда использует финансовые операции. Здесь нужно сравнить:

стоимость постоянной схемы;
стоимость поиска;
точность выбора;
задержку.

Связь с нашим FinOps¶

В ИИ Студии финансовая интеграция уже оптимизирована на стороне NiceSoft:

компактные операции;
общий серверный кэш;
детализация только по требованию;
ограничение числа лишних обращений.

Отложенная загрузка решает другой слой задачи — объём схем операций внутри модельного контекста.

Эти подходы дополняют друг друга.

Как проверить эффект¶

Сравните один и тот же помощник в двух конфигурациях:

все операции загружены сразу;
редко используемые операции отложены.

Оцените:

заполненность контекста;
точность выбора сервиса;
число лишних сервисных вызовов;
время первого полезного результата.

Безопасность¶

Отложенная операция не становится более разрешённой.

Поиск операции не отменяет:

права пользователя;
серверную область доступа;
подтверждение;
запреты корпоративной политики.

Для Яндекс Облака¶

У Студии много системных сервисов Яндекс Облака. Для универсального помощника не нужно держать полные схемы всего каталога в каждом запросе, если операция используется редко.

При этом конкретное решение, какие операции отложить, должно пройти регрессионные тесты текущего релиза.

Частые ошибки¶

Помощник перестал находить нужную операцию¶

Проверьте описание сервиса и операции. Отложенный поиск зависит от понятных названий и описаний.

Отложили вообще всё¶

Узкий помощник может стать медленнее. Верните часто используемые операции в обычный режим.

После загрузки контекст всё равно вырос¶

После обнаружения операция становится доступна в текущем разговоре. Это нормальное поведение.