Když model přehlédne krvácení, kdo půjde k soudu?

Rozhovor jsem začal citací, kterou jsem o Ondřeji Volném našel: anonymně nahrál svoje krevní výsledky do chatbotu a ten mu sdělil, že má vysoký cholesterol. On k tomu dodal, že musí podotknout, že měl pravdu.

Ptal jsem se, jak to pokračovalo. Nechal si doporučit tříměsíční režimová opatření, dietu i jídelníček na celý týden, pracovní dny zvlášť a víkend zvlášť, a k tomu seznam toho, čemu se vyhnout. Nastavil si to tak, aby mu to po týdnu připomnělo, jak si vede.

Jenže Ondřej je neurolog a AI nasazuje v nemocnici, takže zbytek rozhovoru byl mnohem méně optimistický.

Nástroj, který nesmíte použít

Tohle mi přišlo jako nejabsurdnější část. Testovali software, který má u sebe napsáno research use only, tedy pro vědecké účely. Což znamená, že ho nesmíte použít pro rozhodování ani pro pomoc při rozhodování o léčbě.

Máte tedy nástroj, který vám na snímku ukáže, co hledáte, a zároveň ho podle licence nesmíte vzít v potaz. Certifikace jako zdravotnický prostředek znamená, že výrobce musel model validovat v reálném provozu. A že je pak uzamčený, dokud se neuvolní aktualizace.

S tím souvisí i otázka, kterou dostává často: kam jdou ty snímky. Odesílají se anonymizované, s minimem dat, která model potřebuje na vyhodnocení CT. A po certifikaci už na nich trénink neprobíhá. Právě proto je model zamčený.

Kdo půjde k soudu

Pak jsem se zeptal na to, co mi na celé věci vrtá hlavou nejvíc. Když model nějaké krvácení přehlédne a pacient zemře, kdo půjde k soudu? Lékař, nemocnice, výrobce softwaru, nebo někdo další?

Ondřejova odpověď je střízlivá a je v ní klíč k celému dílu: ten nástroj AI je pouze jeden článek řetězce. Je to podpora. Ne rozhodnutí.

Což zní rozumně, dokud si člověk nepřipustí, že přesně tohle je ta šedá zóna, ve které se v příštích letech někdo popálí.

Dobrá zpráva, o které se nemluví

Chci ale vypíchnout jednu věc, která v tom dílu zapadla a neměla by.

U mrtvice se měří takzvaný door to needle, doba od příjezdu pacienta do nemocnice po podání léku, který rozpouští sraženinu. Česká republika měla tenhle medián pod třiceti minutami už před lety. Dneska se národní medián pohybuje kolem 16 až 17 minut.

To je jedna z věcí, ve kterých jsme světová špička, a skoro nikdo o tom neví.

Šestistránkový elaborát

Bavili jsme se taky o tom, co dělá AI s pacienty. Ondřej říká, že edukovaný pacient je pro něj dobrá zpráva. Jenže když si pacient místo čtyř učebnic interny zadá příznaky do jazykového modelu, výsledek bývá jiný, než čekáte.

Stalo se mu, že přišel pacient se šestistránkovým elaborátem. Místo aby to ušetřilo čas, muselo se to celé projít.

Co by nasadil hned

Na otázku, co by nasadil celoplošně do všech českých nemocnic, kdyby mohl vybrat jednu věc, odpověděl bez váhání: AI scribe. Systém, který by lékaři umožnil zápis nadiktovat. Nikdo by nemusel nikam klikat, dělalo by se to automaticky a ušetřilo by to obrovské množství času.

Zbytek rozhovoru je pak o vzdělávání. O 3D anatomickém atlasu s tisíci ilustracemi, na kterém AI pomáhala ladit obrázky. O tutorovi napojeném na sylaby lékařských fakult, takže si student zaklikne ročník a obor a dostane přesně to, co má zrovna probrané. A o figurínách, na kterých se dá nacvičit punkce mozkomíšního moku nebo zajištění centrální žíly.

A na konci jedna věta, která shrnuje celou opatrnost. Co když někdo řekne „prožeň to umělou inteligencí, ona se podívá do výsledků a doporučí ti dietu”, a ten model do té diety zahrne něco, co tomu konkrétnímu člověku uškodí?

Celý díl: https://www.kdeskoncizitrek.cz/go?s=d20un

Poslechni si ho na: 🎧 Apple Podcasts: https://www.kdeskoncizitrek.cz/go?s=d20an 🎧 Spotify: https://www.kdeskoncizitrek.cz/go?s=d20sn ▶️ YouTube: https://www.kdeskoncizitrek.cz/go?s=d20yn