SYSTEM ATLASЗагрузка материала

Дрейф версии: песочница агента

Agent Sandbox Version Drift

Для «песочница агента» это расхождение поведения из-за изменения модели, промпта, инструмента или схемы при сохранении прежнего ожидания.

Простыми словами

Например, в проекте практика «Дрейф версии: песочница агента» оформляется как проверяемое правило: автоматический тест или метрика фиксирует соблюдение границы, а нарушение блокирует выпуск либо включает безопасный режим. Поэтому результат проверяют на данных и отдельной выборке, а не только на впечатляющем примере - иначе модель может выглядеть убедительно и при этом ошибаться на реальных случаях.

Пример от @Vibeclakr

Пример при разработке

В проекте практика «Дрейф версии: песочница агента» оформляется как проверяемое правило: автоматический тест или метрика фиксирует соблюдение границы, а нарушение блокирует выпуск либо включает безопасный режим.

Это редакционный пример применения, а не часть определения или доказательство концепции.

Формальное определение

Для «песочница агента» это расхождение поведения из-за изменения модели, промпта, инструмента или схемы при сохранении прежнего ожидания.

Механизм действия

Для «Дрейф версии: песочница агента» назначают ответственного, задают границы и понятный признак нарушения. В тесты, выпуск или эксплуатационный контроль.

Пример в работе

Нерабочий подход

Повторять термин «Дрейф версии: песочница агента», не объяснив, где он применяется, кто отвечает и по какому признаку видно результат.

Системный подход

Для «Дрейф версии: песочница агента» назвать конкретный риск, добавить проверку и заранее определить, когда правило нужно пересмотреть.

Ограничения

Практика «Дрейф версии: песочница агента» закрывает один конкретный риск и не заменяет проверку соседних отказов, безопасности, данных и пользовательских последствий.

Источник

NIST, «Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile», 2024.

Первоисточник