5. Az érdekes p-érték
Sorozatunk ötödik részéhez érve vessünk egy pillantást rövid múltunkra. Először az első fajta hibával foglalkoztunk, jelezve a fogalom kiemelt szerepét a hipotézisvizsgálatban. A frekventista szemléletmód az első fajta hiba alacsony szinten tartását kívánja meg. Bár a vizsgálatokat általában úgy tervezik, hogy a második fajta hiba szintje se haladja meg a 20 százalékot, azonban e hibával kapcsolatos számításokban az első fajta hiba szintje már eleve rögzített (általában 5 százalék).
A frekventista szemléletmód az első fajta hiba alacsony szinten tartását kívánja meg. Bár a vizsgálatokat általában úgy tervezik, hogy a második fajta hiba szintje se haladja meg a 20 százalékot, azonban e hibával kapcsolatos számításokban az első fajta hiba szintje már eleve rögzített (általában 5 százalék). Ez az 5 százalékos szint kiállta az elmúlt évszázad minden próbáját, ebből pedig arra következtethetünk, hogy általában a biológusok, orvosok megfigyeléseivel összhangban levő eredményekhez vezetett, máskülönben nem válhatott volna ennyire népszerűvé. De mindez valóban egyetlen hipotézisre, egyetlen statisztikai próbára érvényes.
Egy régi ötlet
Az előző pontban idéztük Le Fanu nagy visszhangot kiváltó véleményét, mely szerint inkább zárjanak be minden epidemiológiai központot, semmint hogy 5 százalékos szinten szignifikáns kockázati tényezőkkel riogassák az embereket. Több kockázati tényező, azaz több nullhipotézis esetén az 5 százalékosnál jóval alacsonyabb szinten kellene tartani az egy hipotézisre jutó első fajta hibát, lehetőleg úgy, hogy a teljes elemzés összesített hibája se haladja meg az 5 százalékot.
Az ötlet persze nem új (nem az epidemiológiai központok bezárásáé, hanem az első fajta hiba szintjének korrigálásáé). A Bonferroni nevéhez fűződő korrekció például egyszerűen az eredeti szignifikanciaszint elosztása az összehasonlítások számával, ez szavatolja, hogy az első fajta hiba valószínűsége nem nő a kitűzött szint fölé.
Az ún. konzervatív eljárások esetében ez a feltétel biztosan teljesül. A biostatisztikai konzervativizmus ára általában a túlbiztosítás (ahhoz, hogy egy feltétel biztosan teljesüljön, némi „ráhagyás” szükséges), ez pedig a második fajta hiba növekedéséhez vezet.
A tű vagy a szénakazal?
Képzeljük el, hogy egy „klasszikus”, két párhuzamos csoportot összehasonlító epidemiológiai vizsgálatban 200 változót mérünk és keressük köztük azokat, amelyeknél eltérés tapasztalható a két csoport között. Tételezzük fel, hogy a változók teljesen függetlenek, és 100 esetében van különbség a csoportok közt, 100-nál pedig nincs. Tételezzük fel azt is, hogy mindkét csoportban elegen vannak ahhoz, hogy egy változóra nézve a statisztikai próba ereje 80 százalék legyen. Ha 5 százalékos szinten végezzük el a 200 szignifikanciapróbát, körülbelül 5 darab szignifikáns eredményt kapunk azoknál a változóknál, ahol semmi hatás nincs és 80-at azoknál, ahol valójában volt hatás, összesen tehát 85-öt.
Ha Bonferroni-korrekciót alkalmazunk, a statisztikai próbák szignifikanciaszintjét 5/200=0,025 százalékra kell leszállítanunk, és könnyen megtörténhet, hogy egyetlen szignifikáns eredményt sem kapunk. Mintha tűt keresnénk a szénakazalban. Korrekció nélkül viszont felfedezzük szinte az egész szénakazlat.
A Bonferroni-korrekció korrekciói általában azon alapulnak (pl. a legtöbb statisztikai programban megtalálható Bonferroni-Holms), hogy az első fajta hibát csak akkor követhetjük el, ha elvetjük a nullhipotézist (hiszen az első fajta hiba épp annak a valószínűsége, hogy tévesen vetjük el a nullhipotézist). A viszonyítási alap tehát nem az összes összehasonlítás, hanem közülük csak azoknak a száma, amelyek majd szignifikánsnak találtatnak.
Téves felfedezések aránya
Ebből az elvből kiindulva vezette be Benjamini és Hochberg 1995-ben a téves felfedezések arányának fogalmát. Ez a tévesen elvetett nullhipotézisek és az összes elvetett nullhipotézis számának aránya, a fenti példán 5/80. Ha viszont úgy módosítanánk példánkat, hogy 100 helyett csak 10 változónál volt hatás (és összesen 110 változót mértek), akkor a téves felfedezések aránya lényegesen nagyobb, körülbelül 5/13 lenne. Kompromisszum született: nagyszámú változó esetén elegendő a téves felfedezések arányát alacsony szinten tartani az első fajta hiba helyett.
A „kompromisszumos rostán” megmaradó értékeket, melyek további vizsgálódásra érdemesek – megkülönböztetendő az „igazi” szignifikanciától – Efron 2001-ben „érdekes” p-értékeknek nevezte el. Az érdekes p-értékek elmélete szemünk láttára alakul és a genetikai vizsgálatok értékelésének egyik lehetséges módszere.
