Простыми словами
Представьте AI-помощника, который читает внешние данные или умеет запускать инструменты. Такой помощник не должен автоматически считать любой встреченный текст командой и получать больше прав, чем нужно для задачи. Так внешние данные и права проходят проверку до того, как смогут изменить состояние системы или получить доступ к защищённым ресурсам. Поэтому главное - заранее ограничить возможный ущерб и проверить, что лишний доступ или опасный ввод не проходят незаметно.
Пример при разработке
В проекте команда фиксирует практику «Разрешённый список инструментов агента» как отдельное правило, добавляет автоматическую проверку и наблюдаемый критерий результата.
Это редакционный пример применения, а не часть определения или доказательство концепции.Формальное определение
Агент может вызывать только заранее разрешённые инструменты для конкретного сценария и роли.
Механизм действия
Для «Разрешённый список инструментов агента» команда задаёт явные границы, проверяемый контракт и сигнал, по которому видно соблюдение или нарушение правила.
Пример в работе
Использовать «Разрешённый список инструментов агента» как термин без владельца, критерия и проверки реального поведения.
Связать «Разрешённый список инструментов агента» с конкретным риском, тестом или метрикой и пересматривать правило при изменении контекста.
Ограничения
Практика «Разрешённый список инструментов агента» решает ограниченную задачу и не заменяет анализ всей системы, проверку исходных допущений и измерение побочных эффектов.
Источник
OWASP Foundation, “OWASP Top 10 for Large Language Model Applications”, 2025.