Калибровка и рациональность субъективных оценок вероятности
Субъективная оценка вероятности является ключевым инструментом экспертного прогнозирования, однако её точность напрямую зависит от калибровки и процедур измерения. Эксперт считается должным образом калиброванным в определенном наборе задач, если распределение истинных значений соответствует его заявленным ожиданиям. Например, в идеально сбалансированной системе ровно П% верных значений должны оказываться ниже заявленного порога $X_П$. Таким образом, истинные значения должны попадать в 98-процентный доверительный интервал между крайними точками оценки в 98% случаев.
Влияние процедур оценки на точность прогнозов
Экспериментальные данные демонстрируют, что формат постановки задачи существенно влияет на результат. В ходе исследований одной группе испытуемых предлагалось установить доверительные интервалы для количественных измерений. Другой группе предоставили средние результаты первой и попросили оценить шансы на то, что эти числа превосходят истинные значения.
Результаты выявили два типа искажений:
- Экстремальность: участники первой группы демонстрировали излишнюю самоуверенность. События, которым приписывалась вероятность 0,10, в реальности происходили в 24% случаев.
- Консерватизм: участники второй группы давали слишком осторожные прогнозы. События с заявленной вероятностью 0,34 происходили в 26% случаев.
Различия в результатах подтверждают, что степень правильности оценки определяется выбранной процедурой измерения, а не только знаниями эксперта.
Препятствия для объективной самопроверки
Люди редко замечают искажения в своих суждениях о вероятности из-за отсутствия правильных инструкций и системы обратной связи. Для выявления внешней калибровки необходим строгий учет: группировка событий по предсказанной вероятности и последующая проверка доли реально произошедших случаев. Однако для человеческого мышления такой способ анализа неестественен. Без специального группирования данных человек не способен осознать, что, например, лишь половина событий, которым он приписал 90-процентную вероятность, произошла на самом деле.
Когерентность и совместимость с системой убеждений
В формальной теории субъективной вероятности основным критерием валидности часто считается когерентность — внутренняя согласованность суждений. Согласно этому подходу, любой набор непротиворечивых мнений считается допустимым. Однако этот критерий признан недостаточным, так как внутренне согласованная система может противоречить общеизвестным фактам или логике.
Примером служит «ошибка игрока»: человек может быть внутренне последователен, полагая, что вероятность выпадения «решки» растет после серии «орлов», но это убеждение несовместимо с объективным знанием о том, что монета не имеет памяти.
Для признания суждений рациональными одной внутренней согласованности мало. Они должны быть совместимы со всей системой убеждений эксперта, включая:
- Глубинные знания о предмете исследования.
- Законы теории вероятностей.
- Понимание собственных эвристических методов и когнитивных искажений.
Хотя формальной процедуры оценки такой совместимости не существует, рациональный эксперт должен стремиться к интеграции своих частных оценок в общую систему знаний о мире.
Смысл
Калибровка как критерий рациональности эксперта
Точность экспертных оценок определяется не только внутренней логикой, но и их соответствием реальной статистике и общей системе знаний. Без систематического учета прогнозов и осознания когнитивных искажений субъективные вероятности остаются либо излишне экстремальными, либо неоправданно консервативными.
Убеждения
- Статистическая калибровка: эксперт считается профессиональным только тогда, когда заявленные им вероятности подтверждаются частотой реальных событий.
- Недостаточность внутренней логики: суждения могут быть логически последовательными внутри себя, но при этом оставаться ложными, если они противоречат базовым научным фактам.
- Методологическая зависимость: точность прогноза зависит не только от компетенции человека, но и от выбранной процедуры оценки.
- Необходимость системной совместимости: рациональное мышление требует, чтобы частные вероятностные оценки не противоречили общей картине мира и знаниям о предмете.
Ценности
- Объективность: приоритет эмпирической проверки и фактических данных над интуитивными догадками.
- Системность: стремление объединять разрозненные суждения в единую, непротиворечивую структуру знаний.
- Критическое мышление: готовность анализировать собственные эвристики и выявлять скрытые искажения в своих оценках.
- Точность: ориентация на строгую калибровку доверительных интервалов и вероятностных порогов.
Состояния
- Излишняя экстремальность: состояние неоправданной уверенности в своих прогнозах, ведущее к недооценке рисков.
- Консерватизм: избыточная осторожность, мешающая давать четкие и определенные оценки.
- Когнитивная слепота: неспособность увидеть системные ошибки в собственных суждениях без внешней статистической проверки.
- Рациональный поиск: интеллектуальное усилие по согласованию субъективных мнений с объективными законами реальности.