Простыми словами
Представьте два метода лечения. В каждой отдельной группе пациентов метод A помогает чаще, чем B. Но метод A намного чаще назначали тяжёлым пациентам, у которых общий шанс выздороветь ниже. Если сложить всех пациентов без разделения по тяжести, метод B может выглядеть лучше. Цифры не противоречат друг другу: общий результат изменился из-за того, в каких пропорциях смешались разные группы.
Формальное определение
Парадокс Симпсона возникает, когда направление или сила статистической связи между переменными X и Y внутри уровней третьей переменной Z отличается от связи между X и Y в объединённых данных. Разворот возможен из-за неодинаковых весов групп и различий их базовых уровней.
Механизм действия
Общая доля является взвешенным средним групповых долей. Если сравниваемые варианты представлены в группах в разных пропорциях, а сами группы сильно различаются по исходной вероятности результата, изменение весов может перекрыть внутригрупповое преимущество и развернуть агрегированную тенденцию.
Пример в работе
Сравнивать только общую конверсию двух каналов, хотя один канал приводит в основном новых пользователей, а другой — постоянных, и базовые вероятности покупки у этих групп различаются.
Сначала сравнить каналы внутри сопоставимых когорт, затем проверить доли когорт и при необходимости стандартизировать или взвесить результаты под один и тот же состав аудитории.
Ограничения
Парадокс указывает на чувствительность вывода к агрегированию, но не сообщает автоматически, какой вывод причинно верен. Решение зависит от того, является ли переменная группировки смешивающим фактором, посредником или коллайдером. Малые выборки и множественные разбиения также могут создавать нестабильные развороты.
Источник
E. H. Simpson. The Interpretation of Interaction in Contingency Tables. Journal of the Royal Statistical Society: Series B 13, 238–241 (1951).