14. A torzítások és a fordított tölcsér

A legutóbbi számunkban részletezett metaanalízis a biostatisztika egyik legvitatottabb eszköze. „Fegyverré vált” – mondják egyesek, mások ennél sarkosabban is fogalmaznak (pl. „megahülyeség”). Lelkes hívei viszont newtoni jelentőségű felfedezésnek tartják azt az eljárást, amely leggyakrabban egy egyszerű súlyozott átlag kiszámításából áll. A metaanalízisről alkotott végletes véleményeknek az lehet az oka, hogy a eredményén néha nagyon fontos döntések múlnak, miközben ez nagyon sokféle módon befolyásolható. A „befolyás” szó itt egyaránt jelenthet az elemző szándékától függetlenül fellépő torzítást, illetve szándékos manipulációt.

Publikációs

Az egyik legismertebb befolyásoló tényező a publikációs torzítás. A nem szignifikáns eredménnyel záruló vizsgálatokról ritkábban jelennek meg közlemények. Ennek kétféle oka is van: a kutatók ritkábban számolnak be általuk negatívnak ítélt eredményekről, de a folyóiratok ugyancsak ritkábban közölnek olyan cikket, amely csak egy szürke szignifikanciahiányt tud bemutatni. Olykor ezt meg is fogalmazzák a szerzőknek szóló útmutatóban: „Ismert tényekről csak kivételes esetekben fogadunk el cikket, s ugyanez érvényes a negatív eredménnyel záruló kísérletekre is”.

A publikációs torzítás ellen ma már létezik egyfajta védelem: a nagyobb vizsgálatokat általában még megkezdésük előtt bejegyzik valamilyen nemzetközi adatbázisba. Ez azt jelenti, hogy nem lehet meg nem történtté tenni a nem kívánt eredménnyel zárult vizsgálatokat.

Régiós, idézettségi

Az adatbázisok sem mentesek a torzítástól: a híresebb adatbázisokba való bekerülésre is kisebb esélye van az ún. fejlődő országokban folytatott vizsgálatoknak (ezt India és a Medline összefüggésében ki is mutatták). Ezt a jelenséget nevezhetnénk régiós torzításnak.

A publikációs torzítással rokon a közlés nyelvének tulajdonítható torzítás és az idézettségi torzítás. A szerzők általában valamelyik tekintélyes, angol nyelvű szakfolyóiratban szeretik közölni az igazán fontos eredményeket (a nagyobb olvasottság és ennek eredményeképpen gyakoribb idézettség reményében). A kevésbé fontosakról viszont anyanyelvükön írnak. Egy felmérés szerint a szignifikáns eredményeknek 3,8-szer (95%-os konfidenciaintervallum 1,3–11,3) nagyobb az esélye az angol nyelvű közlésre, mint a nem szignifikánsaknak. Így aztán könnyen előfordulhat, hogy míg egy gyógyszer az angol lapok alapján készült metaanalízis szerint kiváló hatású, addig egy „nem világnyelv” szaklapjai alapján a placebóval teljesen egyenértékű.

Kettős megjelenés

Gyakran előfordul, hogy az igazán kiemelkedő jelentőségű eredményeket többször, több lapban is közlik. Ugyanakkor nem mindig derül ki a másodközlése ténye és néha nem is ismerhető fel, hogy voltaképpen ugyanarról a vizsgálatról van szó. Így aztán előfordulhat, hogy egy metaanalízisben kétszer is szerepel ugyanaz a vizsgálat (más-más forrás alapján). Ez pedig olyan, mintha az összesített hatás kiszámításakor a leghatásosabb vizsgálat súlyát megszoroztuk volna kettővel.

A „legkörmönfontabb”

Ha kioszthatnánk a legkörmönfontabb torzítás díját, azt az „irányított beválasztási kritériumok” okozta torzítás kapná meg. A beválasztási kritériumok ugyanis általános feltételek, amelyeket az elemzés előtt rögzítenek. Igen ám, de az elemzés tervezői általában jól ismerik azt a területet, melyről összefoglaló közleményt készülnek írni, ezért aztán nagyon könnyen összeállíthatnak olyan – objektívnek tűnő – feltételrendszert, amellyel valójában épp az általuk kiszemelt vizsgálatokat választhatják ki elemzésük tárgyául.

A fordított tölcsér

Ha már ennyi veszély leselkedik a metaanalízisre, kidolgoztak egy olyan grafikus módszert, amely a legtöbb torzítás felderítésére alkalmas. Úgynevezett tölcsérdiagramot készítenek, mely az egyes vizsgálatok mintaelemszámát ábrázolja a hatásnagyság függvényében. Mivel a nagyobb elemszámú vizsgálatok hatásnagyságának közelebb kell lennie az összesített hatáshoz, az ábra egy fejjel lefelé fordított tölcsérhez hasonlít általában, innen kapta nevét. Ha ez a tölcsér szimmetrikus (és szimmetriatengelye az összesített hatás), akkor a metaanalízisben a torzítások mértéke nem túl nagy. Az aszimmetria torzítást jelez és ennek eldöntésére már statisztikai próbák is léteznek.