SYSTEM ATLASЗагрузка материала

Изоляция: планирование агента

Agent Planning Isolation

Для «планирование агента» это разделение состояния, данных и полномочий между сессиями, пользователями или задачами агента.

Простыми словами

Например, в проекте практика «Изоляция: планирование агента» оформляется как проверяемое правило: автоматический тест или метрика фиксирует соблюдение границы, а нарушение блокирует выпуск либо включает безопасный режим. Поэтому результат проверяют на данных и отдельной выборке, а не только на впечатляющем примере - иначе модель может выглядеть убедительно и при этом ошибаться на реальных случаях.

Пример от @Vibeclakr

Пример при разработке

В проекте практика «Изоляция: планирование агента» оформляется как проверяемое правило: автоматический тест или метрика фиксирует соблюдение границы, а нарушение блокирует выпуск либо включает безопасный режим.

Это редакционный пример применения, а не часть определения или доказательство концепции.

Формальное определение

Для «планирование агента» это разделение состояния, данных и полномочий между сессиями, пользователями или задачами агента.

Механизм действия

Для «Изоляция: планирование агента» назначают ответственного, задают границы и понятный признак нарушения. В тесты, выпуск или эксплуатационный контроль.

Пример в работе

Нерабочий подход

Повторять термин «Изоляция: планирование агента», не объяснив, где он применяется, кто отвечает и по какому признаку видно результат.

Системный подход

Для «Изоляция: планирование агента» назвать конкретный риск, добавить проверку и заранее определить, когда правило нужно пересмотреть.

Ограничения

Практика «Изоляция: планирование агента» закрывает один конкретный риск и не заменяет проверку соседних отказов, безопасности, данных и пользовательских последствий.

Источник

NIST, «Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile», 2024.

Первоисточник