A The Annals of Family Medicine című folyóiratban nemrég megjelent tanulmányban a kutatók értékelték a Chat Generative Pretrained Transformer (ChatGPT) hatékonyságát az orvosok segítésére szolgáló orvosi absztraktok összefoglalásában. A tanulmány célja a ChatGPT által generált összefoglalók minőségének, pontosságának és torzításának megállapítása volt, betekintést nyújtva annak lehetőségébe, hogy hatalmas mennyiségű orvosi irodalom megemésztésére szolgálhat az egészségügyi szakemberek időkorlátai között.
Kiváló minőség és pontosság
A tanulmány a ChatGPT segítségével 140 különböző folyóirat 14 orvosi kivonatát sűrítette, átlagosan 70%-kal csökkentve a tartalmat. Az összefoglalók kis részében észlelt pontatlanságok és hallucinációk ellenére az orvosok magasra értékelték az összefoglalókat a minőség és a pontosság tekintetében. Az eredmények arra utalnak, hogy a ChatGPT képes segíteni az orvosokat abban, hogy hatékonyan áttekintsék az orvosi szakirodalmat, tömör és pontos összefoglalókat kínálva a hatalmas mennyiségű információ közepette.
A kutatók 10 folyóirat mindegyikéből 14 cikket választottak ki, amelyek különböző orvosi témákat és szerkezeteket fednek le. Megbízták a ChatGPT-t, hogy összegezze ezeket a cikkeket, és tíz orvosi területen értékelte a generált összefoglalókat minőség, pontosság, elfogultság és relevancia szempontjából. A tanulmány megállapította, hogy a ChatGPT átlagosan 70%-kal sikeresen tömörítette az orvosi absztraktokat, és magas értékelést kapott az orvosok értékelőitől a minőség és a pontosság tekintetében.
Az egészségügyre gyakorolt hatások
A magas értékelés ellenére a tanulmány súlyos pontatlanságokat és hallucinációkat azonosított néhány összefoglalóban. Ezek a hibák a kihagyott kritikus adatoktól a vizsgálati tervek félreértelmezéséig terjedtek, ami potenciálisan megváltoztathatja a kutatási eredmények értelmezését. Mindazonáltal a ChatGPT teljesítménye az orvosi absztraktok összefoglalásában megbízhatónak bizonyult, minimális torzítás mellett.
Míg a ChatGPT erős összhangot mutatott az emberi értékelésekkel a folyóiratok szintjén, teljesítménye az egyes cikkek konkrét orvosi szakterületekre vonatkozó relevanciájának meghatározásában kevésbé volt lenyűgöző. Ez az eltérés rávilágított arra, hogy a ChatGPT nem képes pontosan azonosítani az egyedi cikkek relevanciáját az orvosi szakterületek tágabb kontextusában.
A tanulmány értékes betekintést nyújt a mesterséges intelligenciában, különösen a ChatGPT-ben rejlő lehetőségekbe, amelyek segítik az orvosokat az orvosi szakirodalom hatékony áttekintésében. Míg a ChatGPT ígéretesnek mutatkozik az orvosi absztraktok kiváló minőségű és pontos összefoglalásában, további kutatásokra van szükség a korlátok kezeléséhez és a teljesítmény javításához bizonyos orvosi kontextusokban.
A jövőbeli kutatások a ChatGPT azon képességének finomítására összpontosíthatnak, hogy felismerje az egyes cikkek relevanciáját az adott orvosi szakterületekhez. Ezen túlmenően, a generált összefoglalók pontatlanságainak és hallucinációinak csökkentésére irányuló erőfeszítések tovább növelhetik az AI-eszközök egészségügyi környezetekben való használhatóságát.
Forrás: https://www.cryptopolitan.com/chatgpt-in-summarizing-medical-abstracts/