Ígéretes eredményeket mutat a diagnosztikában a humán-AI együttműködés
Egy nemzetközi vizsgálatban a csak emberekből, a csak AI-modellekből álló, valamint a kevert humán-AI diagnosztikai csapatok közül messze a hibrid csapatok nyújtották a legjobb teljesítményt.
A Proceedings of the National Academy of Sciences (PNAS) folyóiratban 2024. december 19-én jelent meg a Max Planck Society kutatóinak cikke, amelynek fő megállapítása szerint az emberek és a mesterséges intelligencia együttes alkalmazása biztosítja a legjobb eredményeket a diagnosztikai eljárások során, mivel néha mindketten tévednek ugyan, de teljesen más hibákat követnek el, így kiegészítik egymást. A nemzetközi kutatócsapat most először bizonyította szisztematikusan, hogy az emberi szakértelem és az AI-modellek kombinálása vezet a legpontosabb diagnózisokhoz.
A diagnosztikai hibák a mindennapi orvosi gyakorlat egyik legsúlyosabb problémáját jelentik. A mesterséges intelligencián alapuló módszerek, AI-algoritmusok – különösen a nagy nyelvi modellek (LLM; Large Language Model), mint a ChatGPT-4, a Gemini vagy a Claude 3 – új lehetőségeket kínálnak az orvosi diagnózisok hatékony támogatására. Ugyanakkor ezek a rendszerek jelentős kockázatokat is magukban hordoznak – például képesek “hallucinálni” és hamis információkat generálni. Ezenkívül reprodukálhatják a meglévő társadalmi vagy orvosi előítéleteket, és olyan hibákat követnek el, amelyek az emberek számára gyakran érthetetlenek.
A mostani kutatás lényege annak vizsgálata volt, hogyan tudnak az emberek és a mesterséges intelligencia a legjobban együttműködni. Az eredmények szerint a hibrid diagnosztikai kollektívák – emberi szakértőkből és mesterséges intelligencia rendszerekből álló csoportok – lényegesen pontosabbnak bizonyultak, mint a kizárólag emberekből vagy mesterséges intelligenciából álló csapatok. Ez különösen igaz volt az olyan komplex, nyílt végű diagnosztikai kérdések esetében, amelyekre számos lehetséges megoldás létezik, és nem egyszerű igen/nem döntést kell meghozni.
“Eredményeink azt mutatják, hogy az emberek és a mesterséges intelligencia modellek közötti együttműködés nagy potenciállal rendelkezik a betegek biztonságának javításában” – nyilatkozta Nikolas Zöller, a tanulmány első szerzője. “A kutatócsoporttal először a Human Diagnosis Project adatbázisából származó adatokat használtuk, amely klinikai esetleírásokat és a helyes diagnózisokat tartalmazták. Cikkünkben több mint 2100 ilyen esetleírás felhasználásával hasonlítottuk össze az orvosok diagnózisait öt vezető mesterséges intelligencia alapú modell diagnózisaival.”
A közölt vizsgálatban különböző diagnosztikai csoportokat szimuláltak: egyedül dolgozó orvosokat, emberekből álló csoportokat, mesterséges intelligencia modelleket és vegyes emberi–mesterséges intelligencia csoportokat. A kutatók összesen több mint 40 ezer diagnózist elemeztek, majd mindegyiket a nemzetközi orvosi szabványok (SNOMED CT) szerint osztályozták és értékelték.
A tanulmány eredményei azt mutatták, hogy több AI-modell kombinálása javította a diagnosztikai minőséget, és átlagosan az AI-kollektívák az orvosok 85%-ánál jobban teljesítettek. Ugyanakkor számos olyan eset volt, amikor az emberek teljesítettek jobban, és érdekes módon azokban az esetekben, amikor az AI kudarcot vallott, az emberek igen gyakran képesek voltak meghatározni a helyes diagnózist.
A legnagyobb meglepetés azonban az volt, hogy az emberek és az AI kombinálása jelentősen növelte a pontosságot. Még abban az esetben is szignifikánsan javultak az eredmények, amikor csak egyetlen AI-modellt adtak hozzá egy emberi diagnosztákból álló csoporthoz, vagy fordítva. A legmegbízhatóbb eredmények viszont meggyőző fölénnyel a több ember és több AI bevonásával hozott kollektív döntésekből származtak.
A szerzők szerint erre a magyarázat az, hogy az emberek és az AI szisztematikusan különböző hibákat követnek el. Amikor az AI kudarcot vallott, egy humán szakember képes lehetett kompenzálni a hibát – és fordítva. Ez az úgynevezett hiba-kiegészítő jelleg teszi a hibrid kollektívákat olyan hatékonnyá.
“Egyáltalán nem arról van szó, hogy az embereket gépekkel helyettesítsük. Inkább úgy kell tekintenünk a mesterséges intelligenciára, mint egy kiegészítő eszközre, amely a kollektív döntéshozatalban bontakoztatja ki teljes potenciálját” – fejtette ki Stefan Herzog, a tanulmány egyik társszerzője.
A kutatók azonban hangsúlyozzák munkájuk korlátait is. A tanulmány csak szövegalapú esettanulmányokat vett figyelembe, nem pedig valódi betegeket valódi klinikai környezetben. Hogy az eredmények közvetlenül átültethetők-e a gyakorlatba, azt a jövőbeli tanulmányok fogják megválaszolni. Hasonlóképpen, a tanulmány kizárólag a diagnózisra összpontosított és nem a kezelésre, márpedig a helyes diagnózis nem feltétlenül garantálja az optimális kezelést. Az is bizonytalan, hogy az AI-alapú támogató rendszereket hogyan fogadják majd a gyakorlatban az orvosok és a betegek. Az AI és az emberek esetében tapasztalható elfogultság és diszkrimináció potenciális kockázatai, különösen az etnikai, társadalmi vagy nemi különbségek tekintetében, szintén további kutatást igényelnek.
A mostani tanulmány a Hybrid Human Artificial Collective Intelligence in Open-Ended Decision Making (HACID) projekt része, amelynek célja a jövőbeli klinikai döntéstámogató rendszerek fejlesztésének előmozdítása az emberi és a gépi intelligencia intelligens integrálása révén. A kutatók különösen nagy potenciált látnak a projekt alkalmazhatóságában azokban a régiókban, ahol az orvosi ellátáshoz való hozzáférés korlátozott. A hibrid ember-AI diagnosztikai kollektívák döntő mértékben hozzájárulhatnak az egészségügyi ellátás egyenlőségének javításához ezeken a területeken.
“Ez a hibrid humán-AI megközelítés átültethető más kritikus területekre is – például a jogrendszerre, a katasztrófa-elhárításra vagy a klímapolitikára – vagyis bárhová, ahol komplex, kockázatos döntések meghozatalára van szükség. A HACID projekt például olyan eszközöket is fejleszt, amelyek javítják a klímaalkalmazkodással kapcsolatos döntéshozatalt” – összegzett Vito Trianni, a HACID projekt koordinátora.
Írásunk az alábbi közlemények alapján készült:
Human–AI collectives make the most accurate medical diagnoses, according to new study
Human–AI collectives most accurately diagnose clinical vignettes
Irodalmi hivatkozás:
Nikolas Zöller et al, Human–AI collectives most accurately diagnose clinical vignettes, Proceedings of the National Academy of Sciences (2025). DOI: 10.1073/pnas.2426153122
