Generatív-MI modellek vizsgálata az egészségügyben

A Hugging Face, a mesterséges intelligenciával foglalkozó startup megoldást kínál az Open Medical-LLM nevű, nemrég közzétett tesztjében. Az Open Medical-LLM a nonprofit Open Life Science AI és az Edinburgh-i Egyetem Természetes Nyelvfeldolgozási Csoportjának kutatóival közösen létrehozott teszt célja, hogy szabványosítsa a generatív MI-modellek teljesítményének értékelését egy sor orvosi vonatkozású feladatban.

Az Open Medical-LLM önmagában nem egy újonnan létrehozott mérési metódus, hanem inkább meglévő tesztkészletek összefűzése, amelyek célja az általános orvosi ismeretek és a kapcsolódó területek – például az anatómia, a farmakológia, a genetika és a klinikai gyakorlat –modelljeinek vizsgálata. Az összehasonlító teszt olyan feleletválasztós és nyílt végű kérdéseket tartalmaz, amelyek orvosi gondolkodást és megértést igényelnek, és olyan anyagokból merítenek, mint az amerikai és indiai orvosi engedélyezési vizsgák és a főiskolai biológia tesztkérdőívek.

Az Egyesült Államok Élelmiszer- és Gyógyszerügyi Hivatala által eddig jóváhagyott 139, mesterséges intelligenciával kapcsolatos orvosi eszköz közül egy sem használ generatív mesterséges intelligenciát. Rendkívül nehéz tesztelni, hogy egy generatív MI-eszköz laboratóriumi teljesítménye hogyan fog átkerülni a kórházakba és járóbeteg-rendelőkbe, és ami talán még fontosabb, hogyan alakulnak az eredmények az idő múlásával.

Ez nem jelenti azt, hogy az Open Medical-LLM nem hasznos vagy informatív. Az eredmények rangsora, ha másra nem is, de arra emlékeztet, hogy a modellek mennyire rosszul válaszolnak az alapvető egészségügyi kérdésekre. De az Open Medical-LLM, és egyébként semmilyen más referenciaérték nem helyettesítheti a gondosan átgondolt, valós körülmények között végzett tesztelést, írja az ITBusiness.

Fotó: archív