Простыми словами
Представьте учебную тревогу: в код намеренно вносят небольшую ошибку и смотрят, заметят ли её тесты. Если тесты продолжают проходить, значит они проверяют слишком мало; поэтому mutation testing оценивает не количество тестов, а их способность ловить реальные дефекты.
Пример при разработке
Инструмент меняет > на >= или удаляет проверку и запускает тесты. Если тесты всё равно зелёные, они не защищают важное правило.
Это редакционный пример применения, а не часть определения или доказательство концепции.Механизм действия
Сначала проверяют, есть ли исходное условие из определения. Затем смотрят, как оно влияет на структуру компонентов, потоки данных, ограничения и действия участников. Если эту связь не удаётся наблюдать, принцип не стоит использовать как готовое объяснение.
Пример в работе
Игнорировать механизм и реагировать только на отдельный симптом.
Зафиксировать условия, применить механизм и проверить результат по наблюдаемому сигналу.
Ограничения
«Mutation Testing» объясняет только часть происходящего в области «Архитектура ПО». Сам принцип не говорит, насколько сильным будет эффект в вашем случае, и не заменяет измерения. При другом масштабе, среде или временном горизонте результат может отличаться.
Источник
Richard A. DeMillo, Richard J. Lipton, Frederick G. Sayward. Hints on Test Data Selection: Help for the Practicing Programmer. 1978. DOI 10.1109/MC.1978.1658057.