Video 47 - Understanding the P-Value - ESTIEM LSS Course
Что такое P-значение?
Введение в P-значение
- Второй компонент, который необходимо понять перед углублением в гипотезы тестирования — это P-значение. Первым шагом было понимание выборки, а следующим будут доверительные интервалы.
Мифы о P-значении
- При упоминании P-значений возникает вопрос: "Быть или не быть?" Многие изучали P-значения неправильно на базовых курсах статистики.
Графическое представление P-значений
- Будет представлено графическое описание P-значений с объяснением альфа и бета рисков через перекрывающиеся вероятностные распределения, используя нормальное распределение для иллюстрации.
Природа распределений
- В природе редко встречается нормальное распределение; большинство распределений имеют длинный хвост (например, эйлерово или поновское), что отражает нежелательное поведение процессов.
Риск и вероятность событий
- Вертикальная линия на графике представляет уровень вероятности, который служит критерием принятия решения. Если риск составляет 5%, то это означает вероятность события (P), которое происходит реже одного раза из двадцати.
Как интерпретировать P-значение?
Значимость и нулевая гипотеза
- Когда значение P очень мало, это указывает на редкость события. Например, значение 0.05 означает 95% вероятность того, что событие произошло случайно.
Альтернативная гипотеза
- Нулевая гипотеза (H₀) представляет собой среднее значение популяции. Вопрос заключается в том, насколько далеко среднее выборки (x̄) от этого значения и когда оно перестанет принадлежать тому же распределению.
Риски в тестировании гипотез
- Альфа — это риск обнаружить разницу там, где ее нет; бета — риск не обнаружить разницу там, где она есть. Это может привести к отправке некачественного продукта клиенту.
Проблемы интерпретации значений P
Вероятностный ответ
- Чем меньше значение P, тем больше доказательства против нулевой гипотезы H₀ предоставляется данными. Однако важно понимать ограничения интерпретации значений P как критериев принятия решений.
Предостережения от статистиков
- Статистики осознали необходимость осторожного подхода к интерпретации значений P из-за их широкого использования. Как сказал Джордж Бокс: "Все модели неверны, но некоторые модели полезны".
Заявление Американской статистической ассоциации о значениях P
Основные моменты заявления
- Значения P могут указывать на несовместимость данных с определенной статистической моделью.
- Значения менее 0.05 не измеряют вероятность истинности исследуемой гипотезы или того, что данные были получены случайным образом.
Понимание P-значений и их применение в бизнесе
Важность правильного анализа данных
- Бизнес-решения не должны основываться только на P-значении, проходящем порог. Необходимо задавать правильные вопросы и удостовериться, что данные действительно представляют интересующую популяцию.
- Полное понимание будущих рисков требует прозрачной отчетности всех компонентов, включая риск бета. Это позволяет принимающим решения видеть полную картину рисков.
Ограничения P-значений
- P-значение или статистическая значимость не измеряют размер эффекта или важность результата. Нужно учитывать физические размеры и знания, полученные в процессе анализа.
- Заключение: одно лишь P-значение не является хорошим показателем доказательства модели или гипотезы. Необходим более комплексный системный подход к пониманию.
Подход к тестированию гипотез
- Гипотеза должна быть основана на реальных данных, а размер выборки должен быть адекватным для балансировки рисков альфа и бета.