3. A tervezés kockázata avagy a harmadik hiba

Nézzük, miről is van szó. Két populáció és egy igen/nem döntést igénylő kérdés (bináris változó) felvetésekor kétféle hiba létezik: 1. a populációk nem nyilváníttatnak egyformáknak, pedig valójában azok, 2. egyformáknak nyilváníttatnak, pedig nem azok. Arról is szóltunk már, hogy a gyógyszerek hatékonyságát igazolni szándékozó klinikai vizsgálatok esetében az említett egyformaság általában egy aktív gyógyszerrel és egy placebóval kezelt populációnak az összehasonlítására vonatkozik, méghozzá a gyógyítandó betegség valamilyen mutatójára nézve (visszatérő példánk, a fogyókúrás szer esetében a fő hatásmutató rendszerint a testsúly, de lehet a testtömegindex is vagy a haskörfogat, bármi, amivel a fogyás mértékét jellemezhetjük).

Hízó fogyókúrázók

Az ilyen „2x2-es” helyzetben természetesen a helyes döntésnek is két típusa van: hatástalannak tartjuk a gyógyszert és valóban hatástalan, vagy pedig hatásosnak tartjuk és tényleg az is. „A populációk közt különbség van” és „a gyógyszernek hatása van” kijelentések logikailag egyenértékűek, ám a gyógyszerhatás lehet az eredeti céllal ellentétes is. Például vészes hízásnak indulnak a fogyókúrás szert szedők. A mi sémánkban ez a jelenség a „populációk közt különbség van” kategóriába tartozik, és (látszólag) helyes döntést hozunk olyankor, mikor a minta alapján statisztikailag szignifikáns különbséget találunk. Ezt a hibát szokták harmadik fajtájúnak nevezni.

Mielőtt legyintenénk, hogy ez ritka, mint a fehér holló, szimuláljunk számítógéppel normális eloszlású adatokat. Képzeletbeli vizsgálatunkban a placebocsoport átlagos testsúlya ne változzon egy hónap alatt, míg a kezeltek átlagos testsúlynövekedése legyen 0,5 kg. A változások szórása legyen mindkét populációban 3 kg. A szignifikanciaszintet állítsuk a szokásos 5 százalékra. A vizsgálatot úgy tervezték, hogy 3 kg-os átlagos testsúlycsökkenés esetén a t-próba becsült ereje (a nullhipotézis elvetésének valószínűsége mikor valóban különböznek a populációk) 80 százalék legyen, ehhez csoportonként 17 személyre volt szükség. Generáljunk hát 17-17 ilyen adatot és végezzük el a t-próbát, majd ismételjük ezt az eljárást ezerszer. Ezer közül 67 szignifikáns t-próbánk lett, ami sokkal kevesebb, mint amennyit akkor kaptunk volna, ha a tervezéskor elképzelt értékek megfeleltek volna a valóságnak (a 80 százalékos erő azt jelentette volna, hogy kb. 800 esetben találtuk volna meg a szignifikanciát). Mielőtt állandó vendégünknek, a véletlen besorolásnak szerepét firtatná valaki, gyorsan megjegyezzük, hogy az most is jelen van. Mivel véletlen mintákról van szó, a kísérlet megismétlésekor más eredményt kapunk, de – az ismétlések magas számának köszönhetően – ezek ingadozása nem lesz túl nagy (70, 73 és 80 voltak azok az értékek, melyet három ismétlésnél kaptunk). A 67 szignifikáns eredmény közül 61 esetben a kezelt csoport átlaga nagyobb volt, mint a placebóé, tehát a súlynövekedés legalább "megmutatkozott", de a maradék 6 esetben látszólagos súlycsökkenést tapasztalhattunk a placebóhoz képest.

A harmadik fajta hiba gyakorisága a fenti képzelt vizsgálatban valóban kicsi, 6 ezrelék. Ez a szám növekedhet, ha a két populáció közti valódi különbség az előbbinél kisebb. 0,2 kg átlagos növekedés esetén például 12 ezrelék körül van.

Ritka, de elgondolkodtató

A harmadik fajta hiba fogalma azért nem szerepel a lexikonokban, mert valóban ritka. Leginkább rosszul tervezett vizsgálatokban fordul elő. Jó alkalom azonban arra, hogy újra átgondoljuk az alkalmazott következtetési módszert és hogy mindezt szimulált adatokon illusztráljuk. Az adatok szimulációja, mely ma már egészen könnyen megvalósítható, sok olyan becslést tesz lehetővé, amelyre nem ismerünk képletet, és gyakran a fogalmak megértését is segíti. Az már bonyolultabb kérdés, hogy megkülönböztethetők-e a szimulált adatok a valódiaktól. Később erre is visszatérünk még.