SYSTEM ATLASЗагрузка материала

Model Collapse

Model Collapse

Обучение на синтетических данных без контроля может постепенно ухудшать распределение.

Простыми словами

Представьте копию фотографии, которую снова и снова копируют с предыдущей копии: детали постепенно исчезают. Model collapse возникает, когда модели обучаются на большом количестве искусственных данных своих предшественников, поэтому редкие и реальные особенности распределения стираются.

Механизм действия

Сначала проверяют, есть ли исходное условие из определения. Затем смотрят, как оно влияет на условия, ограничения, взаимодействия и наблюдаемые последствия. Если эту связь не удаётся наблюдать, принцип не стоит использовать как готовое объяснение.

Пример в работе

Нерабочий подход

Применять локальное решение без проверки контекста, ограничений и вторичных последствий.

Системный подход

Сначала определить механизм, затем выбрать минимальное изменение и измерить результат.

Ограничения

«Model Collapse» объясняет только часть происходящего в области «AI и машинное обучение». Сам принцип не говорит, насколько сильным будет эффект в вашем случае, и не заменяет измерения. При другом масштабе, среде или временном горизонте результат может отличаться.

Источник

Ilia Shumailov et al., “AI Models Collapse When Trained on Recursively Generated Data”, 2024.

Первоисточник