РОЗУМІННЯ ПЕРЕВІРКИ ГІПОТЕЗ

Перевірка гіпотези передбачає формулювання припущень щодо параметрів сукупності на основі вибіркових статистичних даних і сувору оцінку цих припущень на основі емпіричних даних. Ця стаття проливає світло на важливість перевірки гіпотези та важливі кроки, які беруть участь у цьому процесі.

Що таке перевірка гіпотез?

Перевірка гіпотез — це статистичний метод, який використовується для прийняття статистичного рішення на основі експериментальних даних. Перевірка гіпотез — це, в основному, припущення, яке ми робимо щодо параметра сукупності. Він оцінює два взаємовиключні твердження про популяцію, щоб визначити, яке твердження найкраще підтверджується даними вибірки.

приклад: Ви кажете, що середній зріст у класі 30 або хлопець вищий за дівчину. Усе це є припущеннями, які ми припускаємо, і нам потрібен якийсь статистичний спосіб довести це. Нам потрібен якийсь математичний висновок, незалежно від того, що ми вважаємо істинним.

Визначення гіпотез

Нульова гіпотеза (H ₀ ): У статистиці нульова гіпотеза — це загальне твердження або позиція за замовчуванням про відсутність зв’язку між двома виміряними випадками або зв’язку між групами. Іншими словами, це базове припущення або зроблене на основі знання проблеми.
приклад : середній обсяг виробництва компанії становить 50 одиниць/da H₀: = 50.
Альтернативна гіпотеза (H ₁ ): Альтернативна гіпотеза — це гіпотеза, яка використовується під час перевірки гіпотез і суперечить нульовій гіпотезі.
Приклад: виробництво компанії не дорівнює 50 одиницям на день, тобто H₁: п'ятдесят.

Основні терміни перевірки гіпотез

Рівень значущості : Це стосується ступеня значущості, в якому ми приймаємо або відхиляємо нульову гіпотезу. 100% точність для прийняття гіпотези неможлива, тому ми вибираємо рівень значущості, який зазвичай становить 5%. Зазвичай це позначається символом і, як правило, це 0,05 або 5%, що означає, що ваш результат має бути впевненим на 95%, щоб отримати подібний результат у кожному зразку.
Р-значення: The P значення , або обчислена ймовірність, це ймовірність знаходження спостережуваних/екстремальних результатів, коли нульова гіпотеза (H0) досліджуваної проблеми є вірною. Якщо ваше P-значення менше вибраного рівня значущості, ви відхиляєте нульову гіпотезу, тобто погоджуєтеся з тим, що ваша вибірка підтверджує альтернативну гіпотезу.
Статистика тесту: Перевірочна статистика — це числове значення, обчислене на основі вибіркових даних під час перевірки гіпотези, яке використовується для визначення того, чи відхиляти нульову гіпотезу. Його порівнюють із критичним значенням або p-значенням, щоб прийняти рішення щодо статистичної значущості спостережуваних результатів.
Критичне значення : Критичне значення в статистиці – це порогове значення або гранична точка, яка використовується для визначення того, чи відхиляти нульову гіпотезу під час перевірки гіпотези.
Ступені свободи: Ступені свободи пов'язані з мінливістю або свободою, якою володіє оцінка параметра. Ступені свободи пов’язані з розміром вибірки та визначають форму.

Чому ми використовуємо перевірку гіпотез?

Перевірка гіпотез є важливою процедурою в статистиці. Перевірка гіпотези оцінює два взаємовиключні твердження сукупності, щоб визначити, яке твердження найбільше підтверджується даними вибірки. Коли ми говоримо, що результати є статистично значущими, завдяки перевірці гіпотез.

Односторонній і двосторонній тести

Один хвостовий тест фокусується на одному напрямку, більшому або меншому за вказане значення. Ми використовуємо однобічний тест, коли існує чітке очікування спрямованості, засноване на попередніх знаннях або теорії. Критична область розташована лише з одного боку кривої розподілу. Якщо вибірка потрапляє в цю критичну область, нульова гіпотеза відхиляється на користь альтернативної гіпотези.

Односторонній тест

Існує два типи однобічного тесту:

Лівосторонній (лівосторонній) тест: Альтернативна гіпотеза стверджує, що справжнє значення параметра менше, ніж нульова гіпотеза. Приклад: H₀: і Х₁:
і Х₁:

Двосторонній тест

Двосторонній тест розглядає обидва напрямки, більші та менші за вказане значення. Ми використовуємо двосторонній тест, коли немає конкретного очікуваного напрямку та хочемо виявити будь-яку значну різницю.

Приклад: H₀: in = 50 і H₁: mu
eq 50

Що таке помилки типу 1 і типу 2 під час перевірки гіпотез?

При перевірці гіпотез, Помилки I та II типу це дві можливі помилки, які можуть зробити дослідники, роблячи висновки про сукупність на основі вибірки даних. Ці помилки пов’язані з рішеннями, прийнятими щодо нульової гіпотези та альтернативної гіпотези.

Помилка I типу: Коли ми відкидаємо нульову гіпотезу, хоча ця гіпотеза була вірною. Помилка типу I позначається альфа( ).
Помилки типу II: Коли ми приймаємо нульову гіпотезу, але вона хибна. Помилки типу II позначаються бета( ).

	Нульова гіпотеза вірна	Нульова гіпотеза є хибною
Нульова гіпотеза вірна (прийняти)	Правильне рішення кортеж java	Помилка типу II (помилково негативний)
Альтернативна гіпотеза вірна (відкинути)	Помилка типу I (помилковий результат)	Правильне рішення

Нульова гіпотеза вірна

Нульова гіпотеза є хибною

Нульова гіпотеза вірна (прийняти)

Правильне рішення

кортеж java

Помилка типу II (помилково негативний)

Альтернативна гіпотеза вірна (відкинути)

Помилка типу I (помилковий результат)

Правильне рішення

Як працює перевірка гіпотез?

Крок 1: Визначте нульову та альтернативну гіпотези

Сформулюйте нульову гіпотезу ( H_0 ), що не представляє ефекту, і альтернативна гіпотеза ( H_1 ), що передбачає ефект або різницю.

Спочатку ми визначаємо проблему, щодо якої хочемо зробити припущення, маючи на увазі, що наші припущення повинні суперечити одне одному, припускаючи, Нормально розподілені дані.

Крок 2 – Виберіть рівень значущості

Виберіть рівень значущості ( alpha ), зазвичай 0,05, щоб визначити поріг відхилення нульової гіпотези. Це забезпечує достовірність нашої перевірки гіпотези, гарантуючи, що ми маємо достатньо даних для підтвердження наших тверджень. Зазвичай ми визначаємо свій рівень значущості перед тестом. The р-значення це критерій, який використовується для розрахунку нашого значення значущості.

Крок 3 – Збирайте та аналізуйте дані.

Збирайте відповідні дані шляхом спостереження або експериментування. Проаналізуйте дані за допомогою відповідних статистичних методів, щоб отримати тестову статистику.

Крок 4. Обчисліть статистику тесту

Дані для тестів оцінюються, на цьому етапі ми шукаємо різні оцінки на основі характеристик даних. Вибір тестової статистики залежить від типу перевірки гіпотези, що проводиться.

Існують різні перевірки гіпотез, кожна з яких підходить для різних цілей для обчислення нашого тесту. Це може бути a Z-тест , Хі-квадрат , Т-тест , і так далі.

Z-тест : Якщо відомі середні значення сукупності та стандартні відхилення. Зазвичай використовується Z-статистика.
t-тест : Якщо стандартні відхилення сукупності невідомі. і розмір вибірки невеликий, ніж t-критерій статистики є більш доцільним.
Тест хі-квадрат : Критерій хі-квадрат використовується для категоричних даних або для перевірки незалежності в таблицях непередбачуваності
F-тест : F-тест часто використовується в дисперсійному аналізі (ANOVA) для порівняння дисперсій або перевірки рівності середніх у кількох групах.

Ми маємо менший набір даних, тому T-тест більш підходить для перевірки нашої гіпотези.

Т-статистика є мірою різниці між середніми двома групами відносно мінливості в кожній групі. Він розраховується як різниця між вибірковими середніми, поділена на стандартну помилку різниці. Він також відомий як t-значення або t-показник.

Крок 5 – Порівняння статистики тесту:

На цьому етапі ми вирішуємо, де прийняти нульову гіпотезу чи відкинути нульову гіпотезу. Є два способи вирішити, де ми повинні прийняти або відхилити нульову гіпотезу.

Спосіб A: використання критичних значень

Порівнюючи тестову статистику та табличне критичне значення, яке ми маємо,

Якщо тестова статистика>Критичне значення: відхиліть нульову гіпотезу.
Якщо тестова статистика ≤ критичне значення: не вдається відхилити нульову гіпотезу.

Примітка: Критичні значення — це заздалегідь визначені порогові значення, які використовуються для прийняття рішення під час перевірки гіпотези. Щоб визначити критичні значення для перевірки гіпотез ми зазвичай посилаємося на статистичну таблицю розподілу, таку як таблиці нормального розподілу або t-розподілу.

Метод B: використання P-значень

Ми також можемо дійти висновку, використовуючи p-значення,

Якщо p-значення менше або дорівнює рівню значущості, тобто ( ), ви відхиляєте нульову гіпотезу. Це вказує на те, що спостережувані результати навряд чи виникли випадково, що є доказом на користь альтернативної гіпотези.
Якщо p-значення більше за рівень значущості, тобто ( ), вам не вдається відхилити нульову гіпотезу. Це свідчить про те, що спостережувані результати узгоджуються з тим, що можна було б очікувати за нульовою гіпотезою.

Примітка : Значення p — це ймовірність отримання статистичних даних тесту, таких же екстремальних або більш екстремальних, ніж ті, що спостерігаються у вибірці, за умови, що нульова гіпотеза вірна. Щоб визначити р-значення для перевірки гіпотез ми зазвичай посилаємося на статистичну таблицю розподілу, таку як таблиці нормального розподілу або t-розподілу.

Крок 7 - Інтерпретація результатів

Нарешті ми можемо завершити наш експеримент, використовуючи метод A або B.

Розрахунок тестової статистики

Для підтвердження нашої гіпотези про параметр популяції ми використовуємо статистичні функції . Ми використовуємо z-показник, p-значення та рівень значущості (альфа), щоб підтвердити нашу гіпотезу для нормально розподілені дані .

1. Z-статистика:

Коли відомі середні значення сукупності та стандартні відхилення.

$z = frac{ar{x} - mu}{frac{sigma}{sqrt{n}}}$

де,

вибіркове середнє,
μ представляє середнє значення сукупності,
σ — стандартне відхилення
n – розмір вибірки.

2. Т-статистика

Т-тест використовується, коли n<30,

Розрахунок t-статистики визначається як:

$t=frac{x̄-Μ}{s/sqrt{n}}$

де,

mysql список користувачів

t = t-оцінка,
x̄ = вибіркове середнє значення
μ = середня популяція,
s = стандартне відхилення вибірки,
n = розмір вибірки

3. Критерій хі-квадрат

Тест хі-квадрат для категоричних даних незалежності (з ненормальним розподілом), використовуючи:

$chi^2 = sum frac{(O_{ij} - E_{ij})^2}{E_{ij}}$

де,

$O_{ij}$ спостережувана частота в комірці
i,j — індекси рядків і стовпців відповідно.
$E_{ij}$ очікувана частота в комірці , розраховується як:
$frac{{ ext{{Загальна кількість рядків}} imes ext{{Загальна кількість стовпців}}}}{{ ext{{Загальна кількість спостережень}}}}$

Приклад перевірки гіпотези в реальному житті

Давайте розглянемо перевірку гіпотези за допомогою двох реальних життєвих ситуацій,

Випадок А: Д чи новий препарат впливає на артеріальний тиск?

Уявіть собі, що фармацевтична компанія розробила новий препарат, який, на її думку, може ефективно знижувати артеріальний тиск у пацієнтів з гіпертонією. Перш ніж вивести препарат на ринок, вони повинні провести дослідження, щоб оцінити його вплив на артеріальний тиск.

дані:

До лікування: 120, 122, 118, 130, 125, 128, 115, 121, 123, 119
Після обробки: 115, 120, 112, 128, 122, 125, 110, 117, 119, 114

Крок 1 : Визначте гіпотезу

Нульова гіпотеза : (Х₀)Новий препарат не впливає на артеріальний тиск.
Альтернативна гіпотеза : (Х₁)Новий препарат впливає на артеріальний тиск.

Крок 2: Визначте рівень значущості

Розглянемо рівень значущості 0,05, що вказує на відхилення нульової гіпотези.

Якщо докази свідчать про те, що ймовірність спостереження результатів менше 5% через випадкову варіацію.

javatpoint java

Крок 3 : обчисліть статистику тесту

Використання парний Т-тест проаналізуйте дані, щоб отримати тестову статистику та p-значення.

Статистика тесту (наприклад, Т-статистика) розраховується на основі різниці між вимірюваннями артеріального тиску до та після лікування.

t = m/(s/√n)

Де:

м = середнє значення різниці, тобто X після, X раніше
с = стандартне відхилення різниці (d), тобто d _i = X після, i – X раніше,
п = розмір вибірки,

тоді m= -3,9, s= 1,8 і n= 10

ми обчислюємо , T-статистику = -9 на основі формули для парного t-тесту

Крок 4: Знайдіть p-value

Розрахована t-статистика становить -9 і ступенів свободи df = 9, ви можете знайти p-значення за допомогою статистичного програмного забезпечення або таблиці t-розподілу.

таким чином, p-значення = 8,538051223166285e-06

Крок 5: Результат

Якщо p-значення менше або дорівнює 0,05, дослідники відкидають нульову гіпотезу.
Якщо p-значення більше 0,05, вони не можуть відхилити нульову гіпотезу.

Висновок: Оскільки p-значення (8,538051223166285e-06) менше рівня значущості (0,05), дослідники відкидають нульову гіпотезу. Існують статистично значущі докази того, що середній артеріальний тиск до і після лікування новим препаратом відрізняється.

Реалізація перевірки гіпотез на Python

Давайте створимо тестування гіпотез за допомогою python, де ми перевіряємо, чи новий препарат впливає на артеріальний тиск. Для цього прикладу ми використаємо парний Т-тест. Ми будемо використовувати scipy.stats> бібліотека для Т-тесту.

Ми реалізуємо нашу першу реальну проблему за допомогою python,

Python3

import> numpy as np> from> scipy>import> stats> # Data> before_treatment>=> np.array([>120>,>122>,>118>,>130>,>125>,>128>,>115>,>121>,>123>,>119>])> after_treatment>=> np.array([>115>,>120>,>112>,>128>,>122>,>125>,>110>,>117>,>119>,>114>])> # Step 1: Null and Alternate Hypotheses> # Null Hypothesis: The new drug has no effect on blood pressure.> # Alternate Hypothesis: The new drug has an effect on blood pressure.> null_hypothesis>=> 'The new drug has no effect on blood pressure.'> alternate_hypothesis>=> 'The new drug has an effect on blood pressure.'> # Step 2: Significance Level> alpha>=> 0.05> # Step 3: Paired T-test> t_statistic, p_value>=> stats.ttest_rel(after_treatment, before_treatment)> # Step 4: Calculate T-statistic manually> m>=> np.mean(after_treatment>-> before_treatment)> s>=> np.std(after_treatment>-> before_treatment, ddof>=>1>)># using ddof=1 for sample standard deviation> n>=> len>(before_treatment)> t_statistic_manual>=> m>/> (s>/> np.sqrt(n))> # Step 5: Decision> if> p_value <>=> alpha:> >decision>=> 'Reject'> else>:> >decision>=> 'Fail to reject'> # Conclusion> if> decision>=>=> 'Reject'>:> >conclusion>=>

'There is statistically significant evidence that the average blood pressure before and after treatment with the new drug is different.'>

else>:> >conclusion>=>

'There is insufficient evidence to claim a significant difference in average blood pressure before and after treatment with the new drug.'>

# Display results> print>(>'T-statistic (from scipy):'>, t_statistic)> print>(>'P-value (from scipy):'>, p_value)> print>(>'T-statistic (calculated manually):'>, t_statistic_manual)> print>(f>'Decision: {decision} the null hypothesis at alpha={alpha}.'>)> print>(>'Conclusion:'>, conclusion)>

Вихід:

T-statistic (from scipy): -9.0 P-value (from scipy): 8.538051223166285e-06 T-statistic (calculated manually): -9.0 Decision: Reject the null hypothesis at alpha=0.05. Conclusion: There is statistically significant evidence that the average blood pressure before and after treatment with the new drug is different.>

У наведеному вище прикладі, враховуючи T-статистику приблизно -9 і надзвичайно мале значення p, результати вказують на вагомі аргументи для відхилення нульової гіпотези на рівні значущості 0,05.

Результати свідчать про те, що новий препарат, лікування чи втручання мають значний вплив на зниження артеріального тиску.
Негативна Т-статистика вказує на те, що середній артеріальний тиск після лікування значно нижчий, ніж припущене середнє значення популяції до лікування.

Випадок Б : Рівень холестерину в популяції

дані: Відбирається зразок у 25 осіб і вимірюється рівень холестерину.

Рівні холестерину (мг/дл): 205, 198, 210, 190, 215, 205, 200, 192, 198, 205, 198, 202, 208, 200, 205, 198, 205, 210, 192, 205, 198, 205, 210, 192, 205.

Середня кількість населення = 200

Стандартне відхилення популяції (σ): 5 мг/дл (наведено для цієї проблеми)

Крок 1: Визначте гіпотезу

Нульова гіпотеза (H ₀ ): Середній рівень холестерину в популяції становить 200 мг/дл.
Альтернативна гіпотеза (H ₁ ): Середній рівень холестерину в популяції відрізняється від 200 мг/дл.

Крок 2: Визначте рівень значущості

Оскільки напрямок відхилення не вказано, ми припускаємо двобічний тест, і на основі нормальної таблиці розподілу критичні значення для рівня значущості 0,05 (двосторонній) можна обчислити за допомогою z-таблиця і становлять приблизно -1,96 і 1,96.

Крок 3 : обчисліть статистику тесту

Статистика тесту обчислюється за допомогою формули z З = (203,8 - 200) / (5 div sqrt{25}) і відповідно отримуємо, З =2,039999999999992.

Крок 4: Результат

Оскільки абсолютне значення тестової статистики (2,04) більше критичного значення (1,96), ми відхиляємо нульову гіпотезу. І зробіть висновок, що є статистично значущі докази того, що середній рівень холестерину в популяції відрізняється від 200 мг/дл.

Реалізація перевірки гіпотез на Python

Python3

import> scipy.stats as stats> import> math> import> numpy as np> # Given data> sample_data>=> np.array(> >[>205>,>198>,>210>,>190>,>215>,>205>,>200>,>192>,>198>,>205>,>198>,>202>,>208>,>200>,>205>,>198>,>205>,>210>,>192>,>205>,>198>,>205>,>210>,>192>,>205>])> population_std_dev>=> 5> population_mean>=> 200> sample_size>=> len>(sample_data)> # Step 1: Define the Hypotheses> # Null Hypothesis (H0): The average cholesterol level in a population is 200 mg/dL.> # Alternate Hypothesis (H1): The average cholesterol level in a population is different from 200 mg/dL.> # Step 2: Define the Significance Level> alpha>=> 0.05> # Two-tailed test> # Critical values for a significance level of 0.05 (two-tailed)> critical_value_left>=> stats.norm.ppf(alpha>/>2>)> critical_value_right>=> ->critical_value_left> # Step 3: Compute the test statistic> sample_mean>=> sample_data.mean()> z_score>=> (sample_mean>-> population_mean)>/> > >(population_std_dev>/> math.sqrt(sample_size))> # Step 4: Result> # Check if the absolute value of the test statistic is greater than the critical values> if> abs>(z_score)>>max>(>abs>(critical_value_left),>abs>(critical_value_right)):> >print>(>'Reject the null hypothesis.'>)> >print>(>

'There is statistically significant evidence that the average cholesterol level in the population is different from 200 mg/dL.'>

)> else>:> >print>(>'Fail to reject the null hypothesis.'>)> >print>(>

'There is not enough evidence to conclude that the average cholesterol level in the population is different from 200 mg/dL.'>

)>

Вихід:

Reject the null hypothesis. There is statistically significant evidence that the average cholesterol level in the population is different from 200 mg/dL.>

Обмеження перевірки гіпотез

Хоча перевірка гіпотези є корисною технікою, вона не дає повного розуміння теми, що вивчається. Не відображаючи повністю складності чи цілого контексту явищ, він зосереджується на певних гіпотезах і статистичній значущості.
Точність результатів перевірки гіпотези залежить від якості наявних даних і відповідності використаних статистичних методів. Неточні дані або погано сформульовані гіпотези можуть призвести до неправильних висновків.
Покладаючись виключно на перевірку гіпотез, аналітики можуть не помітити суттєві закономірності або зв’язки в даних, які не враховуються конкретними гіпотезами, що перевіряються. Це обмеження підкреслює важливість доповнення перевірки гіпотез іншими аналітичними підходами.

Висновок

Перевірка гіпотез є наріжним каменем у статистичному аналізі, що дає змогу дослідникам даних орієнтуватися в невизначеності та робити достовірні висновки на основі вибіркових даних. Систематично визначаючи нульові та альтернативні гіпотези, вибираючи рівні значущості та використовуючи статистичні тести, дослідники можуть оцінити достовірність своїх припущень. У статті також пояснюється критична різниця між помилками типу I та типу II, надаючи всебічне розуміння нюансів процесу прийняття рішень, властивих перевірці гіпотез. Приклад із реального життя перевірки впливу нового препарату на артеріальний тиск за допомогою парного Т-тесту демонструє практичне застосування цих принципів, підкреслюючи важливість статистичної точності в прийнятті рішень на основі даних.

Часті запитання (FAQ)

1. Які є 3 типи перевірки гіпотези?

Існує три типи перевірки гіпотез: правостороння, лівостороння та двостороння. Правосторонні тести оцінюють, чи є параметр більшим, лівосторонні – якщо він менший. Двосторонні тести перевіряють ненаправлені відмінності, більші чи менші.

2. Які 4 компоненти перевірки гіпотези?

Нульова гіпотеза ( ): Жодного ефекту чи різниці немає.

Альтернативна гіпотеза ( ): Є ефект або різниця.
не дорівнює mysql

Рівень значущості ( ): Ризик відхилення нульової гіпотези, якщо вона вірна (помилка I типу).

Статистика перевірки: числове значення, що представляє спостережувані докази проти нульової гіпотези.

3. Що таке перевірка гіпотез у ML?

Статистичний метод для оцінки ефективності та валідності моделей машинного навчання. Перевіряє конкретні гіпотези щодо поведінки моделі, наприклад, чи впливають функції на прогнози чи добре модель узагальнює невидимі дані.

4. Яка різниця між Pytest і гіпотезою в Python?

Pytest призначений для загального тестування коду Python, а Hypothesis — це тестовий фреймворк на основі властивостей для Python, який зосереджується на створенні тестів на основі визначених властивостей коду.

Що таке перевірка гіпотез?

Визначення гіпотез

Основні терміни перевірки гіпотез

Чому ми використовуємо перевірку гіпотез?

Односторонній і двосторонній тести

Односторонній тест

Двосторонній тест

Що таке помилки типу 1 і типу 2 під час перевірки гіпотез?

Як працює перевірка гіпотез?

Крок 1: Визначте нульову та альтернативну гіпотези

Крок 2 – Виберіть рівень значущості

Крок 3 – Збирайте та аналізуйте дані.

Крок 4. Обчисліть статистику тесту

Крок 5 – Порівняння статистики тесту:

Спосіб A: використання критичних значень

Метод B: використання P-значень

Крок 7 - Інтерпретація результатів

Розрахунок тестової статистики

1. Z-статистика:

2. Т-статистика

3. Критерій хі-квадрат

Приклад перевірки гіпотези в реальному житті

Випадок А: Д чи новий препарат впливає на артеріальний тиск?

Крок 1 : Визначте гіпотезу

Крок 2: Визначте рівень значущості

Крок 3 : обчисліть статистику тесту

Крок 4: Знайдіть p-value

Реалізація перевірки гіпотез на Python

Python3

Випадок Б : Рівень холестерину в популяції

Крок 1: Визначте гіпотезу

Крок 2: Визначте рівень значущості

Крок 3 : обчисліть статистику тесту

Реалізація перевірки гіпотез на Python

Python3

Обмеження перевірки гіпотез

Висновок

Часті запитання (FAQ)

1. Які є 3 типи перевірки гіпотези?

2. Які 4 компоненти перевірки гіпотези?

3. Що таке перевірка гіпотез у ML?

4. Яка різниця між Pytest і гіпотезою в Python?