A szalagcím mögött: mitől lesz megbízható egy kutatás?
Nagy Tamás, az ELTE PPK adjunktusa egy nemzetközi projekt keretében azt vizsgálta, hogyan torzulhatnak a kutatási eredmények a tudományos munka során, és milyen módszerekkel tehetjük megbízhatóbbá a pszichológiai vizsgálatokat – épp a tudomány eszközeivel.
A tudományos folyóiratokban, a magazinokban és az interneten nap mint nap olvashatunk új pszichológiai felfedezésekről. Ezek megbízhatóságát azonban olykor befolyásolhatják bizonyos – gyakran rutinszerű – kutatási gyakorlatok. Az úgynevezett megkérdőjelezhető gyakorlatok (Questionable Research Practices, QRP) olyan módszerek és attitűdök, amelyek aláássák a kutatások reprodukálhatóságát, így megbízhatóságát és érvényességét. Ilyenkor a kutatói hipotézis vagy cél javára torzulhatnak az adatok anélkül, hogy ennek nyoma lenne az eredmények közlésekor. A háttérben állhat a kutatási folyamat komplexitása, a szakemberek tájékozatlansága, a publikációs rendszer elvárásai vagy éppen olyan hibás módszerek, amelyek már bevett gyakorlattá váltak.
Nagy Tamás és munkatársai a Psychological Science folyóiratban megjelent új tanulmányukban a pszichológiai kutatásokban előforduló szabálytalan módszerek széles skáláját gyűjtik össze és rendszerezik kategóriákba. A 19 kutatóból álló nemzetközi szerzőcsapat a világon elsőként azonosított 40 megkérdőjelezhető kutatói gyakorlatot. Ezzeltudatosítják a QRP-k jelenlétét és formáit a kutatók körében,illetve segítenek a szakértőknek és a leendő pszichológusoknak ezen módszerek azonosításában.
A cikk szerint a tudósok több olyan módszert is alkalmazhatnak munkájuk során, amelyek miatt eredményeik fontosabbnak tűnhetnek, mint amilyenek valójában. Az egyik ilyen hiba, amikor már az eredmények ismeretében alkotják meg a hipotéziseket, amelyeket így mindenképp igazolni tudnak. Egy másik probléma, ha csak azokat az eredményeket közlik publikációikban, amelyek alátámasztják elképzeléseiket, a többit pedig elhallgatják. Előfordulhat az is, hogy a kutatók addig tesztelik különböző módszerekkel az adatokat, amíg szignifikáns eredményre nem jutnak.
A cikk szerzői az átláthatóbb és etikusabb kutatómunkát is ösztönzik:konkrét útmutatást nyújtanak arról, hogyan lehet megelőzni a megkérdőjelezhető módszereket. Többek között javasolják, hogy a tudósok precíz, a szakmai irányelveknek megfelelő módszertant alkalmazzanak, és használjanak ellenőrzőlistát, hogy egyetlen fontos lépés se maradjon ki. Hasznos eszköz lehet az előzetes regisztráció (a kutatási terv nyilvános regisztrálása az adatgyűjtés előtt) is, amely megakadályozza a szelektív eredményközlést. Az úgynevezett vak adatelemzés szintén segíthet az elemzési folyamat – akár tudattalan – manipulálásának elkerülésében: ilyenkor a kutatók úgy dolgozzák fel az adatokat, hogy még nem tudják, azok honnan származnak. A QRP-k káros hatásait ellensúlyozhatja a kutatások megismétlése: ha több, egymástól független vizsgálat ugyanazt az eredményt hozza, már biztosak lehetünk abban, hogy megbízható információval van dolgunk.
A szerzők kiemelik, hogy a tudomány, még ha alkalmanként hibázik is, képes az önkorrekcióra – ezt mi sem bizonyíthatná jobban annál, hogy a tudományos tévedéseket is a tudomány eszközeivel vizsgáljuk.
