A jelentőségű vizsgálat elvégzésekor hipotézis teszt, két számot könnyű összetéveszteni. Ezek a számok könnyen összetéveszthetők, mivel mindkettő nulla és egy közötti szám, és mindkettő valószínűség. Az egyik számot a teszt statisztika p-értékének nevezzük. A másik érdeklődés a szignifikancia vagy az alfa szintje. Megvizsgáljuk ezt a két valószínűséget, és meghatározzuk a különbséget közöttük.
Alfa értékek
Az alfa szám az a küszöbérték, amelyet mérünk p-értékek ellen. Megmondja nekünk, milyen szélsőségesen megfigyelt eredményeknek kell lenniük a szignifikancia-teszt nullhipotézisének elutasításához.
Az alfa értéke a tesztünk megbízhatósági szintjéhez kapcsolódik. Az alábbiakban felsoroljuk a bizalom bizonyos szintjeit és az azokkal kapcsolatos alfa-értékeket:
- A 90 százalékos megbízhatósági szintű eredményeknél az alfa értéke 1 - 0,90 = 0,10.
- 95% -os eredményekhez a bizalom szintje, az alfa értéke 1 - 0,95 = 0,05.
- A 99 százalékos megbízhatósági szintű eredményeknél az alfa értéke 1 - 0,99 = 0,01.
- És általában a C százalékos megbízhatósági szintű eredményeknél az alfa értéke 1 - C / 100.
Noha az elméletben és a gyakorlatban sok szám használható az alfa számára, a leggyakrabban használt 0,05. Ennek oka egyaránt az, hogy a konszenzus azt mutatja, hogy ez a szint sok esetben megfelelő, és történelmileg azt elfogadták standardnak. Sok olyan helyzet van, amikor kisebb alfa értéket kell használni. Nincs egyetlen érték sem alfa amely mindig meghatározza a statisztikai szignifikanciát.
Az alfa-érték megadja az a valószínűségét I. típusú hiba. I. típusú hibák akkor fordulnak elő, amikor elutasítunk egy valóban igaz nullhipotézist. Így hosszú távon egy a a szignifikancia szintje 0,05 = 1/20 értéknél, a valódi nullhipotézist 20-szorosból egyet el kell utasítani.
P-értékek
A másik szám, amely a szignifikancia teszt részét képezi, p-érték. A p-érték szintén valószínűség, de más forrásból származik, mint az alfa. Minden tesztstatisztikának van egy megfelelő valószínűsége vagy p-értéke. Ez az érték annak valószínűsége, hogy a megfigyelt statisztika csak véletlenszerűen történt, feltételezve, hogy a nulla hipotézis igaz.
Mivel számos különböző tesztstatisztika létezik, a p-érték meghatározására számos különféle módszer létezik. Bizonyos esetekben tudnunk kell a Valószínűségi eloszlás a lakosság száma.
A tesztstatisztika p-értéke arra utal, hogy mennyire extrém ez a statisztika a mintaadatainkhoz. Minél kisebb a p-érték, annál valószínűtlenebb a megfigyelt minta.
Különbség a P-érték és az alfa között
Annak meghatározására, hogy a megfigyelt eredmény statisztikailag szignifikáns-e, összehasonlítottuk az alfa és a p-értéket. Két lehetőség merül fel:
- A p-érték kisebb vagy egyenlő az alfa-értékkel. Ebben az esetben elutasítjuk a nullhipotézist. Amikor ez megtörténik, azt mondjuk, hogy az eredmény statisztikailag szignifikáns. Más szavakkal, ésszerűen biztosak vagyunk benne, hogy a véletlen mellett csak van valami megfigyelt minta.
- A p-érték nagyobb, mint az alfa. Ebben az esetben nem utasíthatjuk el a null hipotézist. Amikor ez megtörténik, azt mondjuk, hogy az eredmény statisztikailag nem szignifikáns. Más szavakkal, ésszerűen biztosak vagyunk abban, hogy megfigyelt adataink pusztán véletlenül magyarázhatók.
A fentiek arra utalnak, hogy minél kisebb az alfa értéke, annál nehezebb azt állítani, hogy az eredmény statisztikailag szignifikáns. Másrészt, minél nagyobb az alfa értéke, annál könnyebb azt állítani, hogy az eredmény statisztikailag szignifikáns. Ezzel párhuzamosan azonban nagyobb a valószínűsége, hogy amit megfigyeltünk, a véletlennek tulajdonítható.