Простыми словами
Представьте копию фотографии, которую снова и снова копируют с предыдущей копии: детали постепенно исчезают. Model collapse возникает, когда модели обучаются на большом количестве искусственных данных своих предшественников, поэтому редкие и реальные особенности распределения стираются.
Механизм действия
Сначала проверяют, есть ли исходное условие из определения. Затем смотрят, как оно влияет на условия, ограничения, взаимодействия и наблюдаемые последствия. Если эту связь не удаётся наблюдать, принцип не стоит использовать как готовое объяснение.
Пример в работе
Применять локальное решение без проверки контекста, ограничений и вторичных последствий.
Сначала определить механизм, затем выбрать минимальное изменение и измерить результат.
Ограничения
«Model Collapse» объясняет только часть происходящего в области «AI и машинное обучение». Сам принцип не говорит, насколько сильным будет эффект в вашем случае, и не заменяет измерения. При другом масштабе, среде или временном горизонте результат может отличаться.
Источник
Ilia Shumailov et al., “AI Models Collapse When Trained on Recursively Generated Data”, 2024.