Простыми словами
Представьте приложение с моделью, которая получает данные и выдаёт прогноз, ответ или действие. Важно понимать не только итог модели, но и какие данные, ограничения и проверки привели к нему, потому что уверенный результат всё равно может оказаться неправильным. Так модель остаётся частью контролируемого процесса, а её результат можно проверить, ограничить и пересмотреть. Поэтому модель проверяют на новых данных и ошибках, а не только на примерах, которые она уже видела.
Пример при разработке
Например, для «Шлюз подтверждения действий агента» назначают ответственного и добавляют тест или метрику, по которой видно реальный результат.
Это редакционный пример применения, а не часть определения или доказательство концепции.Формальное определение
Точка процесса, где рискованное действие агента блокируется до явного подтверждения человеком или политикой.
Механизм действия
Для «Шлюз подтверждения действий агента» команда фиксирует область действия, владельца, проверяемый сигнал и поведение при нарушении условия.
Пример в работе
Повторять термин «Шлюз подтверждения действий агента», не объяснив, где он применяется, кто отвечает и по какому признаку видно результат.
Связать «Шлюз подтверждения действий агента» с конкретным сценарием, автоматической или ручной проверкой и правилом пересмотра.
Ограничения
«Шлюз подтверждения действий агента» решает ограниченную задачу и не заменяет проверку соседних рисков, исходных допущений и последствий для всей системы.
Источник
NIST, “Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile”, 2024.