По поводу чего выдвигаются статистические гипотезы

Мир статистических гипотез

В современном мире мы обладаем все большим и большим объемом данных о событиях, происходящих вокруг. Зачастую у нас появляются вопросы, на которые хотелось бы быстро ответить на основе имеющейся информации, для этого как нельзя лучше подходит процесс, связанный с проверкой статистических гипотез. Однако, многие считают, что это занятие подразумевает под собой большое число вычислений и в принципе довольно сложно для понимания. На самом деле, алгоритм проверки гипотез достаточно прост, а для осуществления расчетов с каждым годом появляется все больше и больше готовых инструментальных средств, не требующих от человека глубоких познаний в области. Далее я попытаюсь показать, что мало того, что процесс проверки гипотез может быть полезным, так и осуществляется достаточно быстро и без серьезных усилий.

Статистические гипотезы и области их применения

Проверка статистических гипотез является важнейшим классом задач математической статистики. С помощью данного инструмента можно подтвердить или отвергнуть предположение о свойствах случайной величины путем применения методов статистического анализа для элементов выборки. Если в предыдущем предложении какие-либо термины являются не совсем понятными, ниже можно найти пояснение на простом языке.

Для проверки статистических гипотез зачастую применяются статистические тесты, о которых будет рассказано далее.

Алгоритм проверки статистической гипотезы

В обобщенном виде алгоритм выглядит таким образом:

Формулировка основной (H0) и альтернативной (H1) гипотез

Выбор уровня значимости

Выбор статистического критерия

Определения правила принятия решения

Итоговое принятие решения на основе исходной выборки данных

Данные шаги являются унифицированными и схему можно использовать почти во всех случаях. Далее подробнее рассмотрим пример работы данного алгоритма на конкретных данных.

Пример проверки статистической гипотезы

Итак, как вы, наверное, догадались по вышеприведенным примерам, будем проверять гипотезу о том, что имеется существенное различие между числом созданных европейских AI-стартапов в 2019-м и 2020-м годах. Пример достаточно простой, чтобы было проще разобраться в ходе работы алгоритма.

Проверка гипотезы о законе распределения

Для данных 2019-го года проверим нормальность распределения.

H0: случайная величина распределена нормально

H1: случайная величина не распределена нормально

Пусть уровень значимости alpha = 0.05 (как и в 95-ти процентах статистических тестов). Определение уровня значимости достойно отдельного поста, так что не будем заострять на нем внимание.

Будет использован критерий Шапиро-Уилка.

, , , ;

Можно сравнить статистику W с критическим значением Wкрит. Критическое значение чаще всего приведено в готовых таблицах (по строкам/столбцам там отмечен объем выборки и уровень значимости, а на пересечении как раз-таки и лежит Wкрит.). Если W>Wкрит., то не отвергаем H0 и наоборот. Но это не очень удобно, поэтому чаще используется второй способ.

Разнообразие статистических критериев

Как мы увидели на примере, важным шагом в проверке статистической гипотезы является выбор критерия. В примере выше я использовала лишь два статистических критерия, но по факту их гораздо больше, так сказать, на все случаи жизни. Данные критерии важно знать и четко нужно осознавать, когда и какой можно применить. Многие из них направлены на сравнение центров распределений случайных величин, например, сравнение средних, медиан, равенство параметра распределения какому-либо числу и т. д. В основном они делятся на параметрические (знаем закон распределения случайной величины) и непараметрические.

Для вашего удобства внизу (рис. 3) приведена таблица с основными, с моей точки зрения, критериями сравнения центров распределения и их классификацией. Надеюсь, она будет вам полезна, ее можно дополнять и расширять по вашему желанию.

Источник

По поводу чего выдвигаются статистические гипотезы

1. Статистические гипотезы. Основные понятия.

2. Гипотезы о законе распределения.

3. Гипотезы о числовом значении генерального среднего и дисперсии.

1. Статистические гипотезы. Основные понятия.

В тех случаях, когда известен закон, но неизвестны значения его параметров (дисперсия или математическое ожидание) в конкретной ситуации, статистическую гипотезу называют параметрической.

Например, предположение об ожидаемом среднем доходе по акциям или разбросе дохода являются параметрическими гипотезами.

Когда закон распределения генеральной совокупности не известен, но есть основания предположить, каков его конкретный вид, выдвигаемые гипотезы о виде его распределения называются непараметрическими.

Например, можно выдвинуть гипотезу, что число дневных продаж в магазине или доход населения подчинены нормальному закону распределения.

По содержанию статистические гипотезы можно классифицировать:

1. Гипотезы о типе вероятностного закона распределения случайной величины, характеризующего явление или процесс.

2. Гипотезы об однородности двух или более обрабатываемых выборок. Изучаемое свойство исследуется с помощью двух или более генеральных совокупностей. Гипотеза в этом случае может заключаться в следующем: исследуемые выборочные характеристики различаются между собой статистически значимо или нет.

3. Гипотезы о свойствах числовых значений параметров исследуемой генеральной совокупности. Больше ли значения параметров некоторого заданного номинала или меньше и т.д.

4. Гипотезы о вероятностной зависимости двух или более признаков, характеризующих различные свойства рассматриваемого явления или процесса. При этом определяется характер этой зависимости.

Гипотезы бывают простые (содержащие одно предположение) и сложные (содержащие несколько предположений).

Под статистическим критерием понимают однозначно определенное правило, устанавливающее условие, при котором проверяемая гипотеза отвергается либо не отвергается.

Увеличение числа заболевших некоторым заболеванием дает возможность выдвинуть гипотезу о наличии эпидемии. Для сравнения доли заболевших в обычных и экстремальных условиях используются статистические данные, на основании которых делается вывод о том, является ли данное массовое заболевание эпидемией. Предполагается, что существует некоторый критерий- уровень доли заболевших, критический для этого заболевания, который устанавливается по ранее имевшимся случаям.

Различают три вида критериев:

Проверка параметрических гипотез проводится на основе критериев значимости., а непараметрических- критериев согласия.

Задача проверки статистических гипотез сводится к исследованию генеральной совокупности по выборке. Множество возможных значений элементов выборки может быть разделено на два непересекающихся подмножества- критическую область и область принятия гипотезы.

Областью принятия гипотезы или областью допустимых значений I_доп называют совокупность значений критерия, при которых эту гипотезу принимают.

Критической областью I_кр называют множество значений критерия, при котором гипотезу отвергают.

Наблюдаемые значения критерия (статистика) K_набл называют такое значение критерия, которое находится по данным выборки.

С помощью уровня значимости определяются границы критической области.

Основной принцип проверки статистических гипотез состоит в следующем: если наблюдаемое значение статистики критерия попадает (не попадает) в критическую область, то гипотеза H₀ отвергается (принимается), а гипотеза H₁ принимается (отвергается) в качестве одного из возможных решений с формулировкой «гипотеза H₀ противоречит (не противоречит) выборочным данным на уровне значимости ».

В зависимости от содержания альтернативной гипотезы осуществляется выбор критической области: левосторонней, правосторонней, двусторонней. Если смысл исследования заключается в доказательстве конкретного изменения наблюдаемого параметра (его уменьшения или увеличения), то говорят об односторонней критической области. Если смысл исследования- выявить различия в изучаемых параметрах, но характер их отклонения от контрольных (или теоретических) не известен, то говорят о двусторонней критической области.

Однако, принятие той или иной гипотезы не дает оснований утверждать, что она верна. Результат проверки статистической гипотезы лишь устанавливают на определенном уровне значимости ее соответствие (несоответствие) результатам эксперимента.

При проверке статистических гипотез возможны следующие ошибки:

2. Отвергнута правильная альтернативная гипотеза H₁ и принята неправильная нулевая гипотеза H₀ — ошибка второго рода.

Можно доказать, что с уменьшением ошибок первого рода одновременно увеличиваются ошибки второго рода и наоборот. Поэтому, на практике пытаются подбирать значения параметров и опытным путем в целях минимизации суммарного эффекта от возможных ошибок. При принятии управленческих решений для одновременного уменьшения ошибок первого и второго рода самым действенным средством является увеличение объема выборки, что согласуется с законом больших чисел.

На бытовом уровне ошибки второго рода могут иметь более трагические последствия, чем ошибки первого рода.

2. Гипотеза о законе распределения. Критерий согласия Пирсона ( X 2 -критерий).

Критериями согласия называют критерии, в которых гипотеза определяет закон распределения либо полностью, либо с точностью до небольшого числа параметров.

Причины расхождения результатов эксперимента и теоретических характеристик могут быть вызваны малым объемом выборки, неудачным способом группировки наблюдений, ошибками в выборе гипотезы о виде распределения генеральной совокупности и др.

Рассмотрим универсальный критерий согласия Пирсона. Проверка гипотезы о том, что эмпирическая частота мало отличается от соответствующей теоретической частоты, осуществляется с помощью величины X 2 — меры расхождения между ними.

Для произвольной выборки, когда распределение непрерывно или число различных вариант велико, все пространство наблюдаемых вариант делят на конечное число непересекающихся областей, в каждой из которых подсчитывают наблюдаемую частоту и теоретическую вероятность.

Для применения критерия согласия Пирсона необходимо:

Источник

Проверка статистических гипотез: основные понятия и примеры

Статистические гипотезы: основные понятия. Шаги проверки гипотез

Например, необходимо выяснить, значительно ли отличается средний объём продаж после проведения рекламной кампании от среднего объёма продаж после проведения рекламной кампании. Если ответ на этот вопрос положителен, то можно сделать вывод о том, что изменения являются результатом рекламной кампании.

Выводы, полученные путём проверки статистических гипотез, носят вероятностный характер: они принимаются с некоторой вероятностью. Статистическая гипотеза может быть также предположением о свойствах двух совокупностей, если, например, в ходе мероприятий имело место воздействие только на одну совокупность и необходимо сделать вывод о том, было ли это воздействие результативным.

Шаги проверки статистических гипотез следующие:

Рассмотрим эти шаги и связанные с ними понятия подробнее.

Статистические гипотезы: основная и альтернативная

Приведём примеры того, как формулируются основная и альтернативная гипотезы.

Пример 1. До и после проведения рекламной кампании были собраны данные о среднем объём продаж.

Основная гипотеза H 0 : средний объём продаж до проведения рекламной кампании незначительно отличается от среднего объёма продаж после проведения рекламной кампании.

Альтернативная гипотеза H 1 : средний объём продаж изменился после проведения рекламной кампании.

Пример 2. После изменения конфигурации компьютерной сети были собраны случайным образом 200 замеров скорости передачи сообщений.

Основная гипотеза H 0 : изменение конфигурации не имело эффекта.

Альтернативная гипотеза H 1 : эффект от изменения статистически значим.

Статистические критерии для проверки гипотез

По значению этой характеристики принимается решение, принимать основную гипотезу или нет. Статистические критерии бывают двух видов:

Свойства статистического критерия:

Уровень значимости α, ошибки первого и второго рода

При проверке гипотезы всегда существует вероятность того, что будет сделано ошибочное заключение. Существуют два рода ошибки.

Со значением уровня значимости связано значение уровня доверия p.

Пример 3. В лаборатории фармацевтического предприятия делается контрольный замер на соответствие контрольного состава лекарственных препаратов стандарту. Какие варианты гипотез могут быть предложены?

В первом случае, принимая во внимание, что вероятность принятия основной гипотезы высока, мы имеем высокий риск нежелательных последствий принятия неверной гипотезы. Во втором случае, даже если мы будем вынуждены принять гипотезу, что лекарственные препараты не соответствуют стандарту, а на самом деле имеет место ошибка второго рода, придётся провести дополнительные контрольные замеры и более тщательно провести анализ химического состава. В любом случае, это повлечёт за собой более тщательный анализ, а риск нежелательных последствий может оказаться не столь значимым.

По причинам, которые мы выяснили в примере 3, статистические гипотезы часто формулируются следующим образом: «статистическая значимость между факторами незначима», «выборки незначимо отличаются по своим свойствам», «фактор не имеет значимого влияния на исследуемый процесс».

Нахождение границ области принятия гипотезы

В случае, если используется односторонний критерий, ОПГ включает в себя подмножество положительных значений критерия. В таком случае у критерия есть только одна критическая область.

В случае, если используется двусторонний критерий, который может принимать как положительные, так и отрицательные значения, у него имеются две критические области: подмножество отрицательных и подмножество положительных значений критерия, при которых гипотеза не может быть принята.

На этом шаге требуется найти такое подмножество значений критерия, к которому значение выбранного критерия будет принадлежать с вероятностью p. Точнее, необходимо найти крайние значения критерия в этом подмножестве.

Поэтому процедура нахождения границ области принятия гипотезы сводится к решению следующей задачи:

вероятность того, что значения критерия принадлежат области принятия гипотезы,

левое и правое критические значения области принятия гипотезы (критические точки).

То есть задача решается путём взятия обратной функции от прямой функции распределения.

Обратным значением функции распределения с аргументом b является такое значение случайной величины a, при котором выполняется следующее условие:

.

В случае с односторонним критерием получаем следующую формулу для нахождения критической точки:

.

Вне зависимости от типа критерия для того, чтобы найти квантили функции распределения, которому подчиняется критерий, необходимо знать параметры этой функции (например, если критерий подчиняется нормальному закону, то его параметрами являются математическое ожидание и стандартное отклонение). Значение параметров оценивается на выборках.

Вывод о принятии или отвержении основной гипотезы

В случае, если значение критерия, найденное на выборочных значениях наблюдений принадлежит области принятия гипотезы, делается вывод о том, что нет возможности отвергнуть основную гипотезу.

В случае, если критерий принадлежит критической области, делается вывод о том, что нет возможности принять основную гипотезу. В таком случае принимается альтернативная гипотеза.

На рисунке ниже синим цветом изображена ось всевозможных значений критерия R, другие обозначения иллюстрируют попадание значения критерия в область принятия гипотезы или критическую область.

Для того, чтобы быть в большей степени уверенности в своих суждениях о верности или неверности гипотезы, предпочитают применять несколько критериев и сравнивать результаты. Если в нескольких случаях критерий не смог попасть в область принятия гипотезы, то говорят, что получили согласованный результат и скорее всего гипотеза является ложной.

Проверка гипотезы о среднем генеральной совокупности

Часто бывает необходимо проверить, значимо ли отличается средний показатель совокупности от некоторого заданного значения, например, стандарта. В этом случае основная и альтернативная гипотезы могут быть записаны так:

;

.

При проверке гипотезы о среднем выборки в качестве статистического критерия часто применяется t-критерий Стьюдента, однако следует помнить, что этот критерий применим лишь тогда, когда данные выборки подчиняются нормальному закону распределения. Критические значения критерия, соответственно выбранному уровню значимости α и степени свободы v можно найти в приложениях книг по статистике, а если гипотеза проверяется с помощью компьютерной программы, например, STATISTICA, то программа выбирает его.

— среднее выборки,

— некоторое заданное среднее значение, например, стандарт,

— критическое значение t-критерия Стьюдента.

Пример 4. Производитель кваса решил выяснить, работает ли устройство заполнения бутылок соответственно стандарту. Основная и альтернативные гипотезы сформулированы так:

Для проверки случайным образом выбрали 20 бутылок, средний незаполненный уровень составил мм, стандартное отклонение мм.

Получаем фактическое значение статистического критерия:

.

Критическое значение t-критерия Стьюдента:

.

Так как , то есть фактическое значение статистического критерия меньше критического значения, то фактическое значение попадает в область принятия гипотезы. Следовательно, нет возможности отвергнуть основную гипотезу о том, что средний уровень незаполненности бутылки незначимо отличается от 50 мм.

Проверка гипотезы о виде закона распределения выборки

Статистические гипотезы для этой проверки формулируются следующим образом.

Основная гипотеза H 0 : распределение выборки незначимо отличается от предполагаемого (нормальное, экспоненциальное и др.).

Альтернативная гипотеза H 1 : распределение выборки значимо отличается от предполагаемого.

Критерий согласия показывает степень отличия эмпирической функции распределения (то есть значения, полученного из выборки) от гипотетической (теоретической, то есть предполагаемой до наблюдения). Чем меньше значение критерия, тем больше степень похожести эмпирического и теоретического распределений.

Применяются критерий хи-квадрат Пирсона и критерий Колмогорова-Смирнова. Однако существуют ограничения этих критериев. Для критерия хи-квадрат: в каждом интервале должно быть не менее 10 наблюдений. Для критерия Колмогорова-Смирнова: объём выборки должен быть более 50.

Формула оценки значения критерия хи-квадрат Пирсона:

,

Значение критерия Колмогорова-Смирнова рассчитывается следующим образом:

,

— эмпирическая функция распределения,

— теоретическая функция распределения.

Область принятия гипотезы:

,

,

Даже при проверке статистической гипотезы на компьютере область принятия гипотезы в этом случае нужно рассчитывать самостоятельно.

Пример 5. Имеются данные некоторой выборки. Используя критерии хи-квадрат и Колмогорова-Смирнова, при уровне значимости α=0,05 проверить гипотезы о

а) нормальном распределении;

б) равномерном распределении.

Решение.

а) Получены следующие значения критериев:

критерий хи-квадрат: 2,72 (число степеней свободы: 4; границы ОПГ: (0; 5,99));

критерий Колмогорова-Смирнова: 0,08 (границы ОПГ: (0; 0,18)).

Вывод относительно проверяемой гипотезы: с вероятностью 95% принимается основная гипотеза о том, что генеральная совокупность распределена по нормальному закону.

б) Получены следующие значения критериев:

критерий хи-квадрат: 8,45 (число степеней свободы: 3; границы ОПГ: (0; 5,99));

критерий Колмогорова-Смирнова: 0,21 (границы ОПГ: (0; 0,18)).

Вывод относительно проверяемой гипотезы: с вероятностью 95% отвергается основная гипотеза о том, что генеральная совокупность распределена по равномерному закону.

Проверка гипотезы об однородности выборок

Существует два вида гипотез об однородности выборок. Может быть проверена однородность выборок «в слабом»: выборки однородны «в слабом», если незначимо отличаются их параметры, прежде всего, среднее. Может быть проверена однородность выборок «в сильном»: выборки однородны «в сильном», если незначимо отличаются их законы распределения.

С помощью критерия Стьюдента проверяется гипотеза об однородности выборок «в слабом». В этом случае основная гипотеза формулируется следующим образом: математическое ожидание первой выборки незначимо отличается от математического ожидания второй выборки. Формально это записывается так: .

Критерий рассчитывается по формуле:

и — дисперсии первой и второй выборок;

Критерий может принимать значения от минус бесконечности до плюс бесконечности. Чем ближе значения критерия к нулю, тем больше вероятность, что основная гипотеза будет верной (при этом знак не имеет значения).

При проверке гипотезы об однородности выборок с помощью критерия Стьюдента необходимо помнить, что к выборкам выдвигаются допущение, нарушение которых не позволяет применить критерий:

Пример 6. Имеются данные некоторой выборки. По ним в пакете программных средств STATISTICA вычислены следующие показатели:

Область принятия гипотезы при уровне значимости α = 0,05 : (-2,01; 2,01)

Сделать вывод об однородности выборок.

Значение t-критерия попадает в область принятия гипотезы. Может быть принята основная гипотеза о том, что математическое ожидание первой выборки незначимо отличается от математического ожидания второй выборки. Таким образом, проверена гипотеза об однородности выборок в слабом.

С помощью критерия Колмогорова-Смирнова проверяется гипотеза об однородности выборок «в сильном», то есть о том, что функции распределения выборок незначимо отличаются друг от друга. За основу критерия Колмогорова-Смирнова выступает статистика

—

максимальная по модулю разность между двумя функциями распределения выборок x и y.

Критерий рассчитывается по формуле

Границы области принятия гипотезы определяются следующим образом:

.

Если критерий принадлежит области принятия гипотезы, то при заданном уровне значимости α нет возможности её отвергнуть, следовательно, принимается гипотеза о том, что выборки однородны «в сильном».

Гипотезы об однородности выборок могут быть выдвинуты как в исследованиях поведения человека, так и технических науках.

Пример 7. По данным некоторой выборки получены следующие показатели:

Область принятия гипотезы при уровне значимости α = 0,05 : (0; 0,189)

Сделать вывод об однородности выборок.

Значение критерия попадает в область принятия гипотезы. Следовательно, принимается основная гипотеза о том, что функции распределения двух выборок незначимо отличаются. Таким образом, выборки однородны «в сильном».

Источник