Bajban van az idegtudomány

Igazán váratlan eredményt hozott az a kísérlet, amikor Craig Bennett, a Santa Barbarai University of California idegtudósa egy döglött lazacot tett fMRI-be: a hal agya és gerincveleje idegi aktivitás jeleit mutatta. Ennek megfelelően a vizsgálatról beszámoló cikket Bennett és munkatársai a Journal of Serendipitous and Unexpected Results című lapban tették közzé (Neural Correlates of Interspecies Perspective Taking in the Post-Mortem Atlantic Salmon: An Argument For Proper Multiple Comparisons Correction).

Mint a 2010-es cikk szerzői írják, egy tipikus fMRI az agyról 130.000 három dimenziós pixelből (voxel) álló képet készít, ez az óriási adatmennyiség pedig szinte biztossá teszi a fals pozitív eredmények születését. Az adatokból többszörös összehasonlításokat kellene végezni, azonban a vizsgálók ezt legtöbbször elmulasztják.

Ingfei Chen a lazacos kísérletről beszámoló New Scientist-cikkben a következőképp magyarázza az fMRI működését: a kutatók speciális szoftverek segítségével keresnek ebben az óriási adathalmazban olyan voxel-csoportokat, amelyek együtt villannak fel akkor, amikor a kísérleti alany valamilyen tevékenységet végez a berendezésben, pl. olyan képeket néz, amelyek érzelmi válaszokat váltanak ki. Azonban a voxelek/3D-s képpontok véletlenszerű fluktuációi nagy kihívást jelentenek az értelmezésben. Az lenne az ideális, ha az adatsort kétszer rögzítenék, azaz két különböző felvétel is készülne, az első felvétel során a kutatók azonosítanák, hogy mely voxel-csoportok aktiválódnak a kísérlet során, majd a második alkalommal speciálisan ezeket a voxel-csoportokat vizsgálnák, és ellenőriznék, hogy nem véletlenszerű felvillanás volt-e az első eredmény. Azonban ezt a szabályt, mint Edward Vul és Harold Pinter kutatásai kimutatták, az fMRI-vizsgálatok fele nem követi. Ezek a vizsgálatok tehát vudu-összefüggéseket tárnak fel, írja Vul és Pinter (Perspectives on Psychological Science, Puzzlingly High Correlations in fMRI Studies of Emotion, Personality, and Social Cognition), és különösen az jellemző rájuk, hogy a személyiség összetevőivel kapcsolatban (pl. szeretet, empátia, vallásosság, szorongás, félelem stb.) túlzottan leegyszerűsítő képet propagálnak. A téves elméleti következtetések a gyakorlatban is nagy kárt okoznak, gondoljunk csak arra, hogy az fMRI-eredményeket már bírósági tárgyalásokon is használják.

Vul és Pinter 2008-as tanulmánya nagy hullámokat vert az idegtudósok körében, ezért az eredményeit ellenőrizték: Chris Baker és munkatársai megnézték az öt legnevesebb szaklapban 2008-ban publikált fMRI-s kutatásokat, és azt találták, hogy azok 42 százaléka elkövette a fentebb említett hibát (double dipping). (Nature Neuroscience, Circular analysis in systems neuroscience: the dangers of double dipping). Bakerék azt is megjegyezték, hogy ez a rossz gyakorlat az egyetlen idegsejtet vizsgáló állatkísérletekben és a genetikai analízisekben egyaránt gyakori.

Azonban a helyzet még ennél is sokkal rosszabb, írja a New Scientist szerkesztőségi közleménye: a molekuláris vizsgálatok és azok, amelyek az agyi struktúra és a mentális betegségek kapcsolatát hivatottak feltárni, szintén hibásak, az idegtudomány egész területét újra kell tervezni, a korábbi vizsgálatokat ellenőrizni kell, és új eszközöket is keresni kell a valódi pontosság érdekében.

Mi az oka annak, hogy a legtöbb közölt kutatási eredmény hamis?

Az, hogy a kutatási eredmények nagy része hamis, sajnos nem pusztán az idegtudományok esetében igaz. A téma szakértője, a Stanford Egyetem epidemiológusa, John Ioannidis 15 évnyi kutatás után 2005-ben publikálta nagy megdöbbenést kiváltó tanulmányát, melynek címe: Mi az oka annak, hogy a legtöbb közölt kutatási eredmény hamis? (PLoS Medicine.) Ebben arra a következtetésre jutott, hogy a publikált eredmények legalább fele helytelen (orvostudománnyal kapcsolatos megállapításairól a MedicalOnline is beszámolt), rosszul használja a statisztikát vagy gyengécske a vizsgálati dizájn.

Érdekes módon a kutatók nem háborodtak fel Ioannidis megállapításain, hanem nagy energiával vetették magukat a vitába, és elkezdték kiküszöbölni a hibákat, írja a New Scientist. Az idegtudományt érintő legújabb kritika része ennek a vitának, amely minden bizonnyal igen sokáig fog tartani, hiszen, teszi hozzá Ingfei Chen, a tudósokat nagy erők lökik a hibás eredmények publikációja felé: hatalmas a nyomás, hogy közölhető felfedezéseket tegyenek, a negatív eredmények közlési gyakorlata még kialakulatlan, a kutatásokat csak igen ritkán ellenőrzik/ismétlik meg (az orvostudományi kutatások zöme is reprodukálatlan), és a nyert adatokat gyakran addig értelmezgetik, amíg azok a kívánt eredményt nem mutatják. Az idegtudomány, mint mondják, példát vehet a genetikáról, ami egy évtizede hasonló krízist élt meg, és azóta a gyermekkorból talán elkezdett a felnőttkor felé haladni: rájöttünk, hogy a redukcionista egy gén – egy fehérje – egy betegség – egy gyógyszer szemlélet téves, a betegségek sokkal komplexebbek ennél, és nemcsak az derült ki, hogy óriási genetikai sötét anyag van a kromoszómáinkban, de már elkezdtük ennek feltárását is. Ma már nyilvánvaló, hogy téves volt az intelligencia vagy az addikció vagy a homoszexualitás génjét keresni, és ugyanez a helyzet a komplex személyiségvonásokért, a szerelemért vagy a vallásosságért vagy a szorongásért felelős agyi régiókkal is. Ha az idegtudomány megoldja aktuális krízisét, sokkal erősebbé fog válni, teszik hozzá a bizakodók.

5 vizsgálatból 4 fals eredményt ad

Bizakodó Tal Yarkoni idegtudós is, aki a New Scientistnek azt nyilatkozta, hogy 2008 óta kevesebb a vudu-korrelációt publikáló tanulmány, és a vizsgálatok a dupla mintavételezés követelményének is egyre inkább megfelelnek, az idegtudósok belátják, hogy a személyiségvonások sok-sok különböző agyi régióval hozhatók összefüggésbe, amelyek komplex interakcióban vannak egymással. Azok az elméletek, amelyek néhány agyi terület, pl. az amigdala specifikus szerepét hirdették a személyiség kialakulásában, egyre inkább az álmok világába tartoznak.

A felnőtté válási folyamatban azonban az idegtudománynak további kihívásokkal kell szembenéznie: tavaly a már említett Craig Bennett azt is demonstrálta, hogy egy-egy fMRI-vizsgálatot vagy 7 ezer féleképp lehet elemezni, és ugyanazon adatmennyiség alapján az eredmények igencsak eltérnek egymástól. Azaz a kutatók véletlenül vagy akár szándékosan olyan eredményekre juthatnak, ami a számukra a legszimpatikusabb.

Ennél is nagyobb veszélyre hívja fel a figyelmet Ioannidis és munkatársainak egy idei tanulmánya. Most nem csak az fMRI-vizsgálatokat elemezték, hanem 730 olyan tanulmányt, amelyek neurológiai betegségek, pl. Alzheimer-kór vagy krónikus fájdalom kockázati tényezőit, illetve terápiás módszereit mutatták be, és számos módszert alkalmaztak, így genetikai és kognitív teszteket, klinikai vizsgálatokat. Megnézték, hogy az egyes vizsgálatok milyen statisztikai erővel rendelkeztek, azaz milyen eséllyel voltak képesek valami olyat felfedezni, ami tényleg valós. Az eredmény gyászos: az átlagos statisztikai erő 20 százalék körüli (Nature Reviews Neuroscience, Power failure: why small sample size undermines the reliability of neuroscience), aminek az oka legtöbbször az, hogy túl kevés vizsgálati alannyal dolgoznak. Más szavakkal: napjainkban 5 vizsgálatból 4 fals negatív vagy fals pozitív eredményt ad. A strukturális MRI-vizsgálatok eredményeinek validitása még ennél is szánalmasabb: itt a vizsgálatok 92 százaléka eredményez hibás következtetéseket, amikor pl. mentális állapotokat, pl. az autizmust vagy a depressziót akarják az agy szerkezeti sajátosságaival összekapcsolni. Az idegtudomány komoly bajban van, mondja Ioannidis.

Tudásunknak az a része, ami kiállta az idő próbáját, persze nem kérdőjelezendő meg, így Ioannidis nem vonja kétségbe az anatómia tankönyvek állításait. A Broca-mező sérülése agyvérzés következtében nyilvánvalóan befolyásolja a beszédképességet, így biztosak lehetünk abban, hogy szerepe van a nyelv gyakorlásában – ilyen óriási hatást nem lehet figyelmen kívül hagyni akkor sem, ha kicsi a vizsgált emberek száma. A probléma az újabb kutatási eredményekkel van, különösen azon kutatások esetén, amelyek apró részeire akarják szedni és úgy vizsgálni a komplex mentális folyamatokat.

Hitelességi becslések

Az epidemiológus megoldási javaslatokkal is szolgál az idegtudomány bajaira. Érdemes növeli a minta elemszámát: bár egy-egy fMRI-vizsgálat 500 dollár/óra költsége  tetemes, még mindig jobban költjük el a pénzt, ha kevesebb, de nagyobb vizsgálatot finanszírozunk. Az fMRI-t egyébként mindössze 20 éve fedezték fel, meg kell tanulnunk, hogyan kell jól használni.

További előrelépést jelentene, ha az idegtudósok megosztanák valamennyi eredményüket, és igyekeznének mások eredményeit reprodukálni. A 2010-ben indult Open fMRI Project pl. lehetőséget ad arra, hogy a kutatók feltöltsék adataikat, amit aztán a többiek reanalizálhatnak és validálhatnak. A kutatók hitelességi becsléseket is tehetnének vizsgálati eredményeik kapcsán, ez megmondaná, mennyire valószínű, hogy egy tökéletesen tervezett, nagy esetszámú vizsgálat a kérdéses vizsgálat eredményeivel azonos eredményt produkálna.

A tudomány egy evolúciós folyamat, az ellentmondások és a cáfolatok természetes részét képezik. Ha tanulunk a múlt hibáiból, mondja Ioannidis, az agy tanulmányozása napról napra több valódi eredményt fog hozni.