Miért buknak el a nyelvi modellek az orvosi dezinformáció kiszűrésekor?
A nyelvi modellek hajlamosak kritika nélkül elfogadni a hamis egészségügyi állításokat, amennyiben azok orvosi stílusban íródnak, írja a Qubit.
A Lancet Digital Health és a Nature Medicine legfrissebb tanulmányaiban a kutatók figyelmeztetnek, hogy a chatbotok magabiztossága ál-szakértelmet sugall, ami súlyos betegbiztonsági kockázatokat rejt.
A vizsgálatok során húsz különböző modellt – köztük a ChatGPT-t és orvosi fókuszú rendszereket – teszteltek 3,4 millió üzenettel. Az eredmények rávilágítottak egy kritikus strukturális hibára: míg a hétköznapi nyelven megfogalmazott tévhitekkel szemben a modellek 90%-ban szkeptikusak maradtak, addig klinikai nyelvezetre átültetve ugyanazokat a hamis állításokat már 46%-ban valósnak fogadták el. Az algoritmusok tehát a szöveg stílusát azonosítják a hitelességgel, így olyan abszurd és veszélyes tanácsokat is jóváhagytak, mint a fokhagyma rektális alkalmazása immunerősítésre, vagy a hideg tej fogyasztása nyelőcső-vérzés esetén.
A szakértők szerint a chatbotok alapvető problémája a differenciáldiagnosztikai szemlélet hiánya. Míg egy orvos bizonytalanság esetén további vizsgálatokat rendel el, az AI-modellek a hibás válaszokat is ugyanolyan autoriter módon közlik, mint a helyeseket. A Nature Medicine tanulmánya hozzáteszi: a chatbotok jelenleg nem nyújtanak érdemben több segítséget az egészségügyi döntéshozatalban, mint egy hagyományos internetes keresés, mivel a laikus felhasználók nem képesek kiszűrni a válaszokba keveredő szakmai tévedéseket, írja a Qubit.
