Регрессия к среднему: статистическая закономерность и когнитивные искажения
Фрэнсис Гальтон в ходе своих исследований пришел к выводу, что корреляция и регрессия представляют собой не две разные концепции, а два взгляда на одно и то же явление. Основное правило этого феномена формулируется просто: в случаях, когда корреляция между двумя переменными не является идеальной, наблюдается регрессия к среднему значению.
Парадокс интеллектуальных различий в браке
Для иллюстрации открытия Гальтона часто приводится наблюдение, вызывающее живой интерес: умные женщины часто выходят замуж за менее умных мужчин. При попытке объяснить этот факт большинство людей прибегает к каузальным (причинно-следственным) терминам. Возникают предположения о стремлении избежать конкуренции, вынужденных компромиссах или нежелании умных мужчин соревноваться со своими партнершами.
Однако с алгебраической точки зрения утверждение о выборе менее умных супругов эквивалентно утверждению, что корреляция между оценками интеллекта мужей и жен не идеальна. Если корреляция не равна единице, математически неизбежно, что партнеры людей с экстремально высокими показателями интеллекта в среднем будут иметь более близкие к среднему значению результаты. Таким образом, наблюдаемая регрессия не требует сложного социального или психологического обоснования — она является следствием неидеальной связи между переменными.
Механизм работы регрессии к среднему
Феномен регрессии отчетливо проявляется при выполнении тестов. Если группа детей проходит две эквивалентные версии теста способностей, можно заметить следующие закономерности:
- Дети, показавшие лучшие результаты в первой попытке, во второй версии теста чаще всего демонстрируют менее выдающиеся показатели.
- Дети, оказавшиеся в числе худших, в среднем показывают более высокие результаты при повторном тестировании.
Математическое обоснование
Если рассмотреть две переменные X и Y с одинаковым распределением, то при отклонении X от математического ожидания на $k$ единиц, значение Y обычно отклоняется от своего ожидания на величину, меньшую $k$. Это правило применимо к самым разным сферам жизни: сравнению роста отцов и сыновей, результатам экзаменов или спортивным достижениям.
Психологические барьеры восприятия
Несмотря на научное обоснование, люди редко учитывают регрессию в своих суждениях. Существуют две основные проблемы восприятия:
- Отсутствие ожидания: Люди не предполагают наличия регрессии там, где она математически обоснована.
- Поиск ложных причин: Обнаружив регрессию, наблюдатели склонны изобретать фиктивные каузальные объяснения для случайных по сути процессов.
Отказ признавать регрессию связан с глубоким убеждением, что предсказанный результат должен максимально соответствовать входным данным. Интуитивно кажется, что экстремальные значения на входе должны приводить к столь же экстремальным значениям на выходе, что противоречит статистической реальности.
Смысл
Статистическая природа регрессии к среднему
Регрессия к среднему является математическим следствием неидеальной корреляции, а не результатом действия скрытых причинных механизмов. Люди склонны игнорировать этот закон, ошибочно наделяя случайные статистические выравнивания ложным смыслом.
Убеждения
- Эквивалентность понятий: Корреляция и регрессия — это разные точки зрения на один и тот же процесс.
- Математическая неизбежность: Взаимосвязь переменных всегда стремится к среднему значению, если их корреляция не является полной.
- Иллюзия причинности: Человеческий мозг склонен подменять статистические закономерности ложными причинно-следственными связями.
- Ожидание репрезентативности: Существует ложное убеждение, что экстремальные входные данные должны всегда приводить к столь же экстремальным результатам.
Ценности
- Объективность: Приоритет математического анализа над интуитивными догадками.
- Критическое мышление: Способность распознавать когнитивные искажения в интерпретации данных.
- Научный подход: Понимание фундаментальных законов статистики как основы для верных суждений.
Состояния
- Удивление: Эмоциональная реакция на несоответствие математической реальности и повседневной интуиции.
- Интеллектуальное прозрение: Состояние, возникающее при осознании единства корреляции и регрессии.
- Скептицизм: Недоверие к сложным объяснениям для явлений, имеющих простую статистическую природу.