Excel проверка статистических гипотез

Проверка статистических гипотез в EXCEL о дисперсии нормального распределения

history 11 декабря 2016 г.

Рассмотрим использование MS EXCEL при проверке статистических гипотез о дисперсии нормального распределения. Вычислим тестовую статистику χ 2 и Р-значение (Р- value ).

Первое знакомство с процедурой проверки гипотез (Hypothesis testing) для дисперсии рекомендуется начать с изучения построения соответствующего доверительного интервала (см. статью Доверительный интервал для оценки дисперсии в MS EXCEL ).

Примечание : Перечень статей о проверке гипотез приведен в статье Проверка статистических гипотез в MS EXCEL .

СОВЕТ : Для проверки гипотез потребуется знание следующих понятий:

Формулировка задачи. Из генеральной совокупности имеющей нормальное распределение с неизвестным средним значением μ (мю) и неизвестной дисперсией σ 2 ( сигма 2 ) взята выборка размера n. Необходимо проверить двустороннюю статистическую гипотезу о равенстве неизвестной дисперсии σ 2 заданному исследователем значению σ ₀ 2 (англ. Inference on the variance of a normal population).

Примечание : Изложенный ниже метод проверки гипотез о дисперсии ,очень чувствителен к выполнению требования о нормальности распределения , из которого берется выборка . Если это требование не выполняется, то этот метод проверки гипотез будет давать неточные значения.

В качестве точечной оценкой дисперсии распределения, из которого взята выборка , используют Дисперсию выборки s 2 .

Перед процедурой проверки гипотезы , исследователь устанавливает требуемый уровень значимости – это допустимая для данной задачи ошибка первого рода , т.е. вероятность отклонить нулевую гипотезу , когда она верна ( уровень значимости обозначают буквой α (альфа) и чаще всего выбирают равным 0,1; 0,05 или 0,01).

Тестовой статистикой для проверки этой гипотезы является величина:

В статье про χ 2 -распределение показано , что выборочное распределение этой статистики, имеет χ 2 -распределение с n-1 степенью свободы, которое является « эталонным распределением » (англ. Reference distribution) для данного теста о равенстве дисперсии .

Значение, которое приняла χ 2 -статистика обозначим χ ₀ 2 .

Нулевая гипотеза Н ₀ о равенстве дисперсии значению σ ₀ 2 отвергается в том случае, если χ ₀ 2 >χ 2 _α/2,n-1 или χ ₀ 2 2 _1-α/2,n-1

Примечание : Подробнее про квантили распределения можно прочитать в статье Квантили распределений MS EXCEL .

В MS EXCEL верхний α/2-квантиль распределения χ 2 вычисляется с помощью формулы =ХИ2.ОБР.ПХ(α/2; n-1)

Верхний (1-α /2)-квантиль вычисляется с помощью аналогичной формулы =ХИ2.ОБР.ПХ(1-α/2; n-1)

или через равный ему нижний квантиль

Вычисления приведены в файле примера .

В случае односторонней гипотезы речь идет об отклонении дисперсии только в одну сторону: либо больше либо меньше σ ₀ 2 . Если альтернативная гипотеза звучит как σ 2 > σ ₀ 2 , то гипотеза Н ₀ отвергается в случае χ ₀ 2 > χ 2 _{α ,n-1} . Если альтернативная гипотеза звучит как σ 2 2 , то гипотеза Н ₀ отвергается в случае χ ₀ 2 2 _{1-α ,n-1} .

СОВЕТ : О проверке гипотезы о равенстве дисперсий двух нормальных распределений ( F-test ) см. статью Двухвыборочный тест для дисперсии: F-тест в MS EXCEL .

Вычисление Р-значения

При проверке гипотез большое распространение также получил еще один эквивалентный подход, основанный на вычислении p -значения (p-value).

Если p-значение , вычисленное на основании выборки , меньше чем заданный уровень значимости α , то нулевая гипотеза отвергается и принимается альтернативная гипотеза . И наоборот, если p-значение больше α, то нулевая гипотеза не отвергается.

Формула для вычисления p-значения зависит от формулировки альтернативной гипотезы :

• Для односторонней гипотезы σ 2 2 p-значение вычисляется как =ХИ2.РАСП( χ ₀ 2 ; n-1;ИСТИНА)
• Для другой односторонней гипотезы σ 2 > σ ₀ 2 p-значение вычисляется как =ХИ2.РАСП.ПХ( χ ₀ 2 ; n-1)
• Для двусторонней гипотезыp-значение вычисляется как =2*МИН(ХИ2.РАСП( χ ₀ 2 ;n-1;ИСТИНА); ХИ2.РАСП.ПХ( χ ₀ 2 ;n-1))

Соответственно, χ ₀ 2 = (СЧЁТ( выборка )-1)* ДИСП.В( выборка )/ σ ₀ 2 , где выборка – ссылка на диапазон, содержащий значения выборки .

СОВЕТ : Подробнее про вышеуказанные функции MS EXCEL см. статью про χ 2 -распределение .

В файле примера на листе Дисперсия показано решение задач проверки двусторонней и односторонних гипотез .

Источник

Проверка статистических гипотез в EXCEL о равенстве среднего значения распределения (дисперсия неизвестна)

history 10 декабря 2016 г.

Рассмотрим использование MS EXCEL при проверке статистических гипотез о среднем значении распределения в случае неизвестной дисперсии. Вычислим тестовую статистику t ₀ , рассмотрим процедуру «одновыборочный t -тест», вычислим Р-значение (Р- value ).

Материал данной статьи является продолжением статьи Проверка статистических гипотез о равенстве среднего значения распределения (дисперсия известна) . В указанной статье даны основные понятия проверки гипотез ( нулевая и альтернативная гипотезы, тестовые статистики, эталонное распределение, Р-значение и др. ).

СОВЕТ : Для проверки гипотез потребуется знание следующих понятий:

Формулировка задачи. Из генеральной совокупности имеющей нормальное распределение с неизвестным средним значением μ (мю) и неизвестной дисперсией взята выборка размера n. Необходимо проверить статистическую гипотезу о равенстве неизвестного μ заданному значению μ ₀ (англ. Inference on the mean of a population, variance unknown).

Примечание : Требование о нормальности исходного распределения, из которого берется выборка , не является обязательным. Но, необходимо, чтобы были выполнены условия применения Центральной предельной теоремы .

Сначала проведем проверку гипотезы , используя доверительный интервал , а затем с помощью процедуры t -тест. В конце вычислим Р-значение и также используем его для проверки гипотезы .

Пусть нулевая гипотеза Н ₀ утверждает, что неизвестное среднее значение распределения μ равно μ ₀ . Соответствующая альтернативная гипотеза Н ₁ утверждает обратное: μ не равно μ ₀ . Это пример двусторонней проверки , т.к. неизвестное значение может быть как больше, так и меньше μ ₀ .

Если упрощенно, то проверка гипотезы заключается в сравнении 2-х величин: вычисленного на основании выборки среднего значения Х _ср и заданного μ ₀ . Если эти значения «отличаются больше, чем можно было бы ожидать исходя из случайности», то нулевую гипотезу отклоняют.

Поясним фразу «отличаются больше, чем можно было бы ожидать исходя из случайности». Для этого, вспомним, что распределение Выборочного среднего (статистика Х _ср ) стремится к нормальному распределению со средним значением μ и стандартным отклонением равным σ/√n, где σ – стандартное отклонение распределения, из которого берется выборка (не обязательно нормальное ), а n – объем выборки (подробнее см. статью про ЦПТ ).

К сожалению, в нашем случае дисперсия а, значит, и стандартное отклонение , неизвестны, поэтому вместо нее мы будем использовать ее оценку — дисперсию выборки s 2 и, соответственно, стандартное отклонение выборки s.

Известно, что если вместо неизвестной дисперсии распределения σ 2 мы используем дисперсию выборки s 2 , то распределением статистики Х _ср является распределение Стьюдента с n-1 степенью свободы .

Таким образом, знание распределения статистики Х _ср и заданного уровня доверия , позволяют нам формализовать с помощью математических выражений фразу «отличаются больше, чем можно было бы ожидать исходя из случайности».

В этом нам поможет доверительный интервал (как строится доверительный интервал нам известно из статьи Доверительный интервал для оценки среднего (дисперсия неизвестна) в MS EXCEL ). Если среднее выборки попадает в доверительный интервал, построенный относительно μ ₀ , то для отклонения нулевой гипотезы оснований нет. Если не попадает, то нулевая гипотеза отвергается.

Воспользуемся выражением для Доверительного интервала , которое мы получили в статье Доверительный интервал для оценки среднего (дисперсия неизвестна) .

Напомним, что доверительный интервал обычно определяют через количество стандартных отклонений , которые в нем укладываются. В нашем случае в качестве стандартного отклонения берется стандартная ошибка s/√n.

Количество стандартных отклонений зависит от количества степеней свободы используемого t-распределения и уровня значимости α (альфа) .

Для визуализации проверки гипотезы методом доверительного интервала в файле примера на листе Сигма неизвестна создана диаграмма .

Примечание : Перечень статей о проверке гипотез приведен в статье Проверка статистических гипотез в MS EXCEL .

t-тест

Ниже приведем процедуру проверки гипотезы в случае неизвестной дисперсии . Данная процедура имеет название t -тест :

• Формулируют 2 гипотезы: нулевую Н ₀ и альтернативную Н ₁ . В случае формулирования двухсторонней гипотезы , нулевой гипотезой будет равенство μ и μ ₀ , а альтернативной гипотезой – их отличие. Нулевая гипотеза отвергается только в том случае, если на это достаточно оснований. В этом случае принимается альтернативная гипотеза ;
• Чтобы понять, достаточно ли у нас оснований для отклонения нулевой гипотезы , из распределения делают выборка.
• На основе выборки вычисляют тестовую статистику . В нашем случае тестовой статистикой является случайная величина t ( t-статистика ) , где Х _ср – среднее выборки . Значение, которое приняла тестовая статистика , обычно обозначают t ₀ ;
• Выбранная тестовая статистика , как и любая другая случайная величина, имеет свое распределение. В процедуре проверки гипотез это распределение называют « эталонным распределением », англ. Reference distribution. В нашем случае, когда дисперсия неизвестна, тестовая статистика имеет t-распределение с n-1 степенью свободы ;
• Также исследователь устанавливает требуемый уровень значимости – это допустимая для данной задачи ошибка первого рода , т.е. вероятность отклонить нулевую гипотезу , когда она верна ( уровень значимости обозначают буквой α и чаще всего выбирают равным 0,1; 0,05 или 0,01);
• С помощью эталонного распределения для заданного уровня значимости вычисляют соответствующие квантили этого распределения . В нашем случае, при проверке двухсторонней гипотезы , необходимо будет вычислить верхний α/2-квантильt-распределения с n-1 степенью свободы, т.е.такое значение случайной величины t _n-1, что P(t _n-1 >=t _α/2,n-1 )= α /2 ;
• И, наконец, значение тестовой статистики t ₀ сравнивают с вычисленными на предыдущем шаге квантилями и делают статистический вывод : Имеются ли основания, чтобы отвергнуть нулевую гипотезу ? В нашем случае проверки двусторонней гипотезы , Н ₀ отвергается если: |t ₀ |>t _{α/2, n-1}

В MS EXCEL верхний α /2-квантиль вычисляется по формуле =СТЬЮДЕНТ.ОБР(1- α /2; n-1)

Учитывая симметричность t- распределения относительно оси ординат, верхний α /2-квантиль равен обычному α /2-квантилю со знаком минус: =-СТЬЮДЕНТ.ОБР( α /2; n-1)

Также в MS EXCEL имеется специальная формула для вычисления двухсторонних квантилей : =СТЬЮДЕНТ.ОБР.2Х( α ; n-1) Все три формулы вернут один и тот же результат.

Примечание : Подробнее про квантили распределения можно прочитать в статье Квантили распределений MS EXCEL .

Примечание : Если вместо t- распределения использовать стандартное нормальное распределение, то мы получим необоснованно более узкий доверительный интервал , тем самым мы будем чаще необоснованно отвергать нулевую гипотезу , когда она справедлива ( увеличим ошибку первого рода ).

Отметим, что различие в ширине интервалов зависит от размера выборки n (при уменьшении n различие увеличивается) и от уровня значимости (при уменьшении α различие увеличивается). Для n=10 и α = 0,01 относительная разница в ширине интервалов составляет порядка 20%. При большом размере выборки n (>30), различием в интервалах часто пренебрегают (для n=30 и α = 0,01 относительная разница составляет 6,55%). Это свойство используется в функции Z.ТЕСТ() , которая вычисляет р-значение (см. ниже) с использованием нормального распределения (аргумент σ должен быть опущен или указана ссылка на стандартное отклонение выборки ).

В случае односторонней гипотезы речь идет об отклонении μ только в одну сторону: либо больше либо меньше μ ₀ . Если альтернативная гипотеза звучит как μ>μ ₀ , то гипотеза Н ₀ отвергается в случае t ₀ > t _{α ,n-1} . Если альтернативная гипотеза звучит как μ СОВЕТ : Подробнее про p -значение написано в статье Проверка статистических гипотез в MS EXCEL о равенстве среднего значения распределения (дисперсия известна) .

Если p-значение , вычисленное на основании выборки , меньше чем заданный уровень значимости α , то нулевая гипотеза отвергается и принимается альтернативная гипотеза . И наоборот, если p-значение больше α , то нулевая гипотеза не отвергается.

Другими словами, если p-значение меньше уровня значимости α , то это свидетельство того, что значение t -статистики , вычисленное на основе выборки при условии истинности нулевой гипотезы , приняло маловероятное значение t ₀ .

Формула для вычисления p-значения зависит от формулировки альтернативной гипотезы :

• Для односторонней гипотезы μ =СТЬЮДЕНТ.РАСП(t ₀ ; n-1; ИСТИНА)
• Для другой односторонней гипотезы μ>μ ₀p-значение вычисляется как =1-СТЬЮДЕНТ.РАСП(t ₀ ; n-1; ИСТИНА)
• Для двусторонней гипотезыp-значение вычисляется как =2*(1-СТЬЮДЕНТ.РАСП(ABS(t ₀ );n-1;ИСТИНА))

Соответственно, t ₀ =(СРЗНАЧ( выборка )-μ ₀ )/ (СТАНДОТКЛОН.В( выборка )/ КОРЕНЬ(СЧЁТ( выборка ))) , где выборка – ссылка на диапазон, содержащий значения выборки .

В файле примера на листе Сигма неизвестна показана эквивалентность проверки гипотезы через доверительный интервал , статистику t ₀ ( t -тест) и p -значение .

Примечание : В MS EXCEL нет специализированной функции для одновыборочного t-теста . При больших n можно использовать функцию Z.ТЕСТ() с опущенным 3-м аргументом (подробнее про эту функцию см. статью Проверка статистических гипотез в MS EXCEL о равенстве среднего значения распределения (дисперсия известна) ). Функция СТЬЮДЕНТ.ТЕСТ() предназначена для двухвыборочного t-теста .

Источник

In statistics, a hypothesis test is used to test some assumption about a population parameter.

There are many different types of hypothesis tests you can perform depending on the type of data you’re working with and the goal of your analysis.

This tutorial explains how to perform the following types of hypothesis tests in Excel:

• One sample t-test
• Two sample t-test
• Paired samples t-test
• One proportion z-test
• Two proportion z-test

Let’s jump in!

Example 1: One Sample t-test in Excel

A one sample t-test is used to test whether or not the mean of a population is equal to some value.

For example, suppose a botanist wants to know if the mean height of a certain species of plant is equal to 15 inches.

To test this, she collects a random sample of 12 plants and records each of their heights in inches.

She would write the hypotheses for this particular one sample t-test as follows:

• H₀: µ = 15
• H_A: µ ≠15

Refer to this tutorial for a step-by-step explanation of how to perform this hypothesis test in Excel.

Example 2: Two Sample t-test in Excel

A two sample t-test is used to test whether or not the means of two populations are equal.

For example, suppose researchers want to know whether or not two different species of plants have the same mean height.

To test this, they collect a random sample of 20 plants from each species and measure their heights.

The researchers would write the hypotheses for this particular two sample t-test as follows:

• H₀: µ₁ = µ₂
• H_A: µ₁ ≠ µ₂

Refer to this tutorial for a step-by-step explanation of how to perform this hypothesis test in Excel.

Example 3: Paired Samples t-test in Excel

A paired samples t-test is used to compare the means of two samples when each observation in one sample can be paired with an observation in the other sample.

For example, suppose we want to know whether a certain study program significantly impacts student performance on a particular exam.

To test this, we have 20 students in a class take a pre-test. Then, we have each of the students participate in the study program for two weeks. Then, the students retake a post-test of similar difficulty.

We would write the hypotheses for this particular two sample t-test as follows:

• H₀: µ_pre = µ_post
• H_A: µ_pre ≠ µ_post

Refer to this tutorial for a step-by-step explanation of how to perform this hypothesis test in Excel.

Example 4: One Proportion z-test in Excel

A one proportion z-test is used to compare an observed proportion to a theoretical one.

For example, suppose a phone company claims that 90% of its customers are satisfied with their service.

To test this claim, an independent researcher gathered a simple random sample of 200 customers and asked them if they are satisfied with their service.

We would write the hypotheses for this particular two sample t-test as follows:

• H₀: p = 0.90
• H_A: p ≠ 0.90

Refer to this tutorial for a step-by-step explanation of how to perform this hypothesis test in Excel.

Example 5: Two Proportion z-test in Excel

A two proportion z-test is used to test for a difference between two population proportions.

For example, suppose a superintendent of a school district claims that the percentage of students who prefer chocolate milk over regular milk in school cafeterias is the same for school 1 and school 2.

To test this claim, an independent researcher obtains a simple random sample of 100 students from each school and surveys them about their preferences.

We would write the hypotheses for this particular two sample t-test as follows:

• H₀: p₁= p₂
• H_A: p₁ ≠ p₂

Refer to this tutorial for a step-by-step explanation of how to perform this hypothesis test in Excel.