Soumrak radiologů? Nahradí je umělá inteligence?

Kdo bude vyhodnocovat data ze zobrazování

Podle průzkumu mezi 331 lékaři, kteří v letech 2010–2022 publikovali v nejprestižnějších lékařských časopisech New England Journal of Medicine a Lancet, očekává 87,3 % z nich v následujících 10 letech nárůst využití zobrazovacích metod, přičemž 48,9 % si myslí, že bude narůstat také poptávka po radiologických diagnosticích.

Jen 16 % dotázaných se domnívá, že by v příští dekádě mohla radiology nahradit umělá inteligence (AI). Opačného názoru bylo 60 % respondentů, zbylá téměř čtvrtina dotázaných se dosud nedokázala rozhodnout. Někteří se domnívají, že AI by mohla radiologům pomoci zejména s rutinními dobře specifikovanými úkoly. Většina dotázaných lékařů si však myslí, že se AI nepodaří dosáhnout lidského způsobu řešení problémů a že si neporadí s komplexními nebo neobvyklými případy.

Ingredience pro kvalitní report

Aby byla zpráva o výsledcích vyšetření vytvořená AI použitelná, nestačí poskytnout jen informaci o přítomnosti či absenci abnormalit. Je třeba doplnit podrobný popis snímku se všemi jemnými nuancemi a příslušnými nejistotami měření – jinými slovy, zpráva z radiologie obsahuje komplexní diagnostické informace.

V současnosti se objevilo několik prototypů AI modelů, které jsou schopny tvořit detailní narativní radiologické reporty. Spolu s těmito nástroji byly vyvinuty i automatické skórovací systémy, jež slouží k průběžnému hodnocení AI nástrojů, aby bylo možno sledovat jejich vývoj a zlepšovat jejich výkonnost. Jak dobře je však software schopen zhodnotit kvalitu AI výstupů? Právě na to se ve své analýze zaměřil tým z Harvardovy univerzity.

Nepříliš schopní hodnotitelé

Vědci na souboru zpráv popisujících rentgenové snímky hrudníku, jež vytvořila umělá inteligence, otestovali několik skórovacích systémů. Výsledky počítačového hodnocení kvality zpráv pak srovnali s hodnocením šesti zkušenými radiology. Odborníci členili chyby v reportech do několika kategorií (falešně pozitivní/negativní výsledek, nesprávná pozice nálezu, nesprávně zhodnocená závažnost nálezu apod.).

Ukázalo se, že automatické skórovací systémy často interpretovaly zprávy vytvořené AI nesprávně a v některých případech přehlédly chyby v klinickém hodnocení snímku. Výzkumný tým proto vyvinul nový skórovací algoritmus (RadGraph F1) a také kompozitní hodnoticí nástroj RadCliQ, který kombinuje výsledky několika různých metrik do jednoho skóre, jež lépe odpovídá hodnocení radiologem. I při použití těchto nových nástrojů však vědci zaznamenali značný rozdíl mezi jejich výsledky a nejlepším možným skóre.

Postup na vyšší úroveň

Spolehlivost skórovacích systémů je pro rozvoj nástrojů využívajících AI naprosto klíčová. Metriky testované v harvardské analýze však nebyly schopny v reportech vytvořených umělou inteligencí spolehlivě odhalit chyby, z nichž některé byly klinicky signifikantní. Nově vytvořené skórovací algoritmy, které autoři analýzy poskytli jako open source kódy, by měly pomoci s vývojem další generace reportovacích nástrojů tak, aby se do budoucna výsledky modelů AI nelišily od nálezů popsaných lidským odborníkem. Zatím se však zdá, že AI radiology hned tak nenahradí.

(este)

Zdroje:
1. Kwee T. C., Almaghrabi M. T., Kwee R. M. Diagnostic radiology and its future: what do clinicians need and think? Eur Radiol 2023 Dec; 33 (12): 9401–9410, doi: 10.1007/s00330-023-09897-2.
2. Yu F., Endo M., Krishnan R. et al. Evaluating progress in automatic chest X-ray radiology report generation. Patterns 2023 Aug 3; 4 (9): 100802, doi: 10.1016/j.patter.2023.100802.
3. Pesheva E. How good is that AI-penned radiology report? Harvard Medical School, 2023 Aug 3. Dostupné na: https://hms.harvard.edu/news/how-good-ai-penned-radiology-report