AI и машинное обучение

ОбобщениеМодель должна сохранять качество на новых данных, а не запоминать обучающие.PAC LearningОбучаемость определяется точностью, вероятностью и числом примеров.VC DimensionВыразительная способность класса моделей измеряется возможностью разбивать точки.Structural Risk MinimizationВыбирается баланс эмпирической ошибки и сложности класса моделей.Occam LearningКороткое описание согласованной гипотезы способствует обобщению.CalibrationПредсказанная вероятность должна соответствовать фактической частоте исхода.Precision-Recall TradeoffПовышение полноты часто снижает точность и наоборот.ROC CurveПоказывает компромисс true positive rate и false positive rate по порогам.Class ImbalanceРедкий класс делает обычную точность вводящей в заблуждение.Dataset ShiftРаспределение рабочих данных отличается от обучающего.Concept DriftСвязь между признаками и целью меняется со временем.Data LeakageВ обучение попадает информация, недоступная при реальном прогнозе.Feature LeakageПризнак прямо или косвенно раскрывает целевую переменную.Reward HackingАгент использует лазейку в награде вместо достижения намерения.Specification GamingСистема формально выполняет спецификацию, нарушая замысел.Distributional ShiftИзменение среды делает обученные закономерности ненадежными.Catastrophic ForgettingНовое обучение разрушает ранее усвоенные навыки.Alignment ProblemПоведение AI должно соответствовать человеческим целям и ограничениям.Переобучение моделиМодель запоминает особенности обучающей выборки и хуже работает на новых данных.Недообучение моделиМодель слишком проста или недостаточно обучена для структуры задачи.Confusion MatrixРазделяет ошибки классификации по типам и делает цену ошибок видимой.Feature StoreОбеспечивает единое вычисление и повторное использование признаков.Model RegistryХранит версии моделей, метаданные, проверки и состояние развертывания.Shadow DeploymentПроверяет модель на реальном потоке без влияния на пользовательские решения.Human-in-the-LoopКритические случаи передаются человеку и используются для улучшения системы.Model CollapseОбучение на синтетических данных без контроля может постепенно ухудшать распределение.Retrieval-Augmented GenerationВнешний поиск дополняет генерацию актуальным и проверяемым контекстом.Версионирование промптовПромпт хранится как версионируемый артефакт вместе с моделью, параметрами, инструментами и ожидаемым форматом ответа.Регрессионное тестирование промптовИзменения промпта проверяются на фиксированном наборе сценариев, чтобы выявлять ухудшения до выпуска.Проверка схемы ответа моделиОтвет модели принимается только после синтаксической и семантической проверки по ожидаемой схеме.Ограниченное декодированиеПроцесс генерации ограничивает допустимые токены так, чтобы результат соответствовал грамматике или структуре.Бюджет цикла агентаАгент получает ограничение на число шагов, время, токены и стоимость одной задачи.Условие остановки агентаЦикл агента завершается по явному критерию успеха, невозможности прогресса или исчерпанию бюджета.Бюджет контекстного окнаКонтекст распределяется между инструкциями, историей, найденными данными и резервом для ответа.Сжатие контекстаДлинная история заменяется проверяемым кратким состоянием, сохраняя решения, ограничения и открытые вопросы.Стратегия разбиения для поискаДокументы делятся на фрагменты с размером и границами, соответствующими типу вопросов и структуре источника.Переформулирование поискового запросаИсходный вопрос преобразуется в один или несколько запросов, лучше подходящих для поискового индекса.Переранжирование найденных фрагментовВторичная модель оценивает релевантность кандидатов и меняет порядок перед передачей контекста генератору.Цитирование найденных основанийОтвет связывает утверждения с конкретными найденными фрагментами и устойчивыми идентификаторами источников.Оценка RAG-системыОтдельно измеряются качество поиска, достаточность контекста, верность ответа и корректность цитирования.Синтетический набор оценкиТестовые случаи генерируются для расширения покрытия, но проходят фильтрацию и не заменяют реальные примеры.Эталонный набор примеровНебольшой вручную проверенный набор фиксирует ожидаемое поведение и используется для сравнения версий.Калибровка LLM-судьиОценки модели-судьи сравниваются с человеческими решениями, чтобы измерить смещение и устойчивость критериев.Попарная оценка моделейДва ответа сравниваются на одном запросе по фиксированным критериям вместо независимых абсолютных баллов.Доля неподтверждённых утвержденийМетрика оценивает долю проверяемых утверждений, которые не подтверждаются доступным основанием.Политика отказа от ответаСистема определяет ситуации, в которых модель должна признать недостаток оснований и не выдавать уверенный результат.Уверенность не равна достоверностиВероятностный или словесный сигнал уверенности модели не считается доказательством фактической правильности.Маршрутизация на резервную модельПри отказе, перегрузке или несоответствии качества запрос направляется на заранее выбранный резервный путь.Каскад моделейЗапрос сначала обрабатывается дешёвой моделью, а сложные случаи передаются более мощной по измеримому правилу.Бюджет inferenceДля сценария задаётся предельная стоимость, задержка и объём вычислений на один результат.Семантический кэшРезультат переиспользуется для достаточно похожего запроса только при совместимых контексте, правах и свежести.Реестр рисков AI-системыЕдиный список выявленных рисков AI-системы с владельцами, оценкой серьёзности, мерами контроля и сроками пересмотра.Инвентаризация AI-системУчёт моделей, провайдеров, данных, интеграций и сценариев использования AI, необходимый для управления изменениями и рисками.Уровни риска AI-сценариевКлассификация AI-сценариев по потенциальному вреду и масштабу последствий, определяющая глубину проверок и контроля.Граница AI-сценарияЯвное описание задач, пользователей, данных и решений, для которых AI-система разрешена, а также ситуаций вне её назначения.Оценка воздействия AIСтруктурированная оценка возможного влияния AI-системы на пользователей, процессы, права, безопасность и бизнес-результаты.План человеческого контроля AIПравила, определяющие где человек проверяет, подтверждает, отменяет или расследует решения и действия AI-системы.Реагирование на AI-инцидентыПроцесс обнаружения, локализации, расследования и устранения вредных или непредсказуемых результатов AI-системы.Управление карточками моделейПоддержание актуального описания назначения, ограничений, данных, метрик и известных рисков каждой используемой модели.Происхождение данных AIПрослеживаемая история источников, преобразований, разрешений и версий данных, используемых AI-системой.Происхождение AI-контентаМетаданные и сигналы, позволяющие установить, как, когда и какой системой был создан или изменён контент.Трассируемость AI-ответаВозможность связать конкретный ответ модели с запросом, версией модели, настройками, источниками и вызванными инструментами.Покрытие AI-оценкиДоля значимых сценариев, рисков, языков, групп пользователей и режимов отказа, представленная в наборе оценки.Оценка AI по срезамРаздельное измерение качества модели на важных сегментах данных, пользователей и условий вместо одной средней метрики.Состязательная оценка AIПроверка модели на намеренно сложных, обманных или вредоносных входах, созданных для выявления слабых мест.Библиотека сценариев AI red teamВерсионируемый набор атакующих и пограничных сценариев для повторяемой проверки безопасности AI-системы.Порог прохождения AI-оценкиЗаранее установленное минимальное значение метрики или набора условий, необходимое для допуска модели к использованию.Регрессионный шлюз AIАвтоматический запрет выпуска модели или промпта, если новая версия ухудшает критические метрики относительно контрольной версии.Оценка возможностей AIПроверка того, какие задачи модель действительно способна выполнять, включая новые возможности после обновления.Обоснование безопасности AIСтруктурированный аргумент с доказательствами того, что риски AI-системы известны, контролируются и приемлемы для заданного контекста.Принятие остаточного AI-рискаФормальное решение ответственного лица принять оставшийся риск после выполнения доступных мер контроля.Вывод AI-модели из эксплуатацииУправляемое прекращение использования модели с уведомлением зависимых систем, сроками миграции и планом удаления.Управление изменениями AI-моделиПроцесс оценки, тестирования и утверждения изменений модели, провайдера, данных, настроек или системного промпта.Абстракция AI-провайдераСлой контракта, отделяющий продуктовую логику от конкретного API, формата и особенностей поставщика модели.Переключение AI-провайдераКонтролируемый переход на резервного поставщика или модель при отказе, ограничениях или недоступности основного варианта.Тайм-аут AI-инференсаОграничение максимального времени ожидания ответа модели с определённым поведением при превышении срока.Ограничение размера AI-ответаЛимит длины или объёма ответа модели, уменьшающий стоимость, задержку и риск неконтролируемого вывода.Проверка результата AI-инструментаВалидация структуры, происхождения и допустимости данных, возвращённых инструментом агенту, до их дальнейшего использования.Область разрешений AI-инструментаМинимальный набор операций и ресурсов, доступных агенту через конкретный инструмент в данном сценарии.Граница памяти AI-агентаПравило, определяющее какие данные агент может сохранять, как долго и между какими пользователями или задачами их разрешено переносить.