Lekarze rzucili wyzwanie sztucznej inteligencji. Oblała egzamin z interny, a jednak pomaga im w leczeniu

Sztuczna inteligencja pomaga lekarzom diagnozować nowotwory, ale trzeba ją jeszcze wiele nauczyć

Zespół studentów pod wodzą dr. Szymona Suwały oraz prof. Romana Junika z Katedry Endokrynologii i Diabetologii Wydziału Lekarskiego Collegium Medicum UMK w Bydgoszczy: Paulina Szulc, Aleksandra Dudek, Aleksandra Białczyk, Kinga Koperska wzięli na warsztat pytania z egzaminów, jakie zdają lekarze. Wyzwanie polegające na ich rozwiązaniu postawili przed Chatem GPT. Wcześniej jego polskojęzycznej wersji w ten sposób nikt nie sprawdzał. Najogólniejszy wniosek jest taki, że choć sztuczna inteligencja jest coraz częściej wykorzystywana w medycynie, np. w rozpoznawaniu nowotworów czy diagnozowaniu złamań, prędko nie zastąpi lekarzy.

Naukowcy z CM UMK w Bydgoszczy postanowili sprawdzić, jak Chat GPT poradzi sobie z zadaniami egzaminacyjnymi z królowej medycyny - z interny (a więc - uogólniając - dotyczącymi chorób narządów wewnętrznych).

Chat GPT zdał amerykański test licencyjny dla lekarzy po polsku

- Co wielu zaskoczyło, Chat GPT, pomimo że jest prostym modelem językowym, okazał się zdolny zaliczyć USMLE, czyli amerykański test licencyjny dla lekarzy. Zdał też europejski egzamin specjalizacyjny z kardiologii - zaznacza dr Szymon Suwała, by za chwilę ostudzić emocje. - Czy poradził sobie zatem z PES z zakresu interny? Wraz z moim zespołem sprawdziliśmy skuteczność Chat GPT w pytaniach z 10 sesji Państwowego Egzaminu Specjalizacyjnego z chorób wewnętrznych (z lat 2013-2017) - łącznie było to 1191 pytań. Chat GPT odpowiadał prawidłowo na 47.5-53.3 proc. zadań (przeciętnie 49.4 proc.), co było niewystarczające do zdania egzaminu (próg wynosi 60 proc.) - krótko mówiąc, oblał go w każdej sesji. Gdy zweryfikowano tematykę pytań, okazało się że najgorzej Chat GPT radził sobie z pytaniami z zakresu kardiologii (43.7 proc.), diabetologii (45.1 proc.), chorób płuc (46.7 proc.) - na drugim biegunie, najlepsze wyniki AI osiągnęła w pytaniach z alergologii (71.4 proc.) i chorób zakaźnych (55.3 proc.).

Pytany o objawy, diagnozy, terapie Chat GPT odpowiadał błędnie, choć znał dobre rozwiązanie

Im bardziej złożone było pytanie, tym gorzej sobie z nim radził Chat GPT. Jednym z ciekawszych wniosków z badania jest ten, wskazujący, że Chat GPT robił błędy, choć znał prawidłowe rozwiązania.

 - Naszemu modelowi językowemu dość często zdarzały się błędy logiczne - wybór nieprawidłowej odpowiedzi, po czym napisanie wcale niegłupiego objaśnienia, które nawiązywało do odpowiedzi prawidłowej - mówi dr Szymon Suwała. - Sztuczna inteligencja ma przed sobą jeszcze ogrom nauki - jestem przekonany, że zakres jej zastosowań będzie rósł, ale z pewnością w najbliższym czasie nie zostawimy pieczątki: Chat GPT, specjalista chorób wewnętrznych - podkreśla.

Dr Szymon Suwała zauważa, że choć z Chatem GPT czy Gemini coraz lepiej się na tematy zdrowotne rozmawia, diagnozy oparte tylko na informacjach z internetowych wyszukiwarek nie są dokładne i nie należy na nie polegać. Oba czaty bazują na tych samych informacjach, które mamy, korzystając z tradycyjnych wyszukiwarek.

Sztuczna inteligencja miewa halucynacje, diagnozuje choroby, których nie ma

- Przywykłem do tego, że nierzadko pacjenci przychodzą do gabinetów lekarskich z gotową diagnozą wyszperaną w internecie, nie wyprowadza mnie to z równowagi - mówi dr Szymon Suwała. - Umiem spokojnie wytłumaczyć choremu, dlaczego nie warto temu ufać. Kluczowa jest edukacja i nauka krytycznego myślenia. W badaniu opisujemy m.in. halucynacje sztucznej inteligencji. Może ona generować nieprawdziwe informacje na temat objawów chorobowych, opierając się na fałszywych danych, które sama stworzyła. Jeśli ktoś zbyt mocno polega na takich informacjach, może się okazać, że uważa się za chorego na chorobę, która w rzeczywistości nie istnieje - dodaje.

Jak sztuczna inteligencja pomaga lekarzom?

Specjalista podkreśla też, że medycy nie odżegnują się od korzystania ze sztucznej inteligencji, także w codziennej pracy.

• W trakcie badań ultrasonograficznych sztuczna inteligencja jest w stanie analizować obrazy i sugerować konieczność przeprowadzenia biopsji lub informować o niskim potencjale onkologicznym zmiany.
• Wcześniej to jednak człowiek musi ją tego nauczyć.
• Ostateczną decyzję, czy zastosować się do sugestii algorytmu, podejmie lekarz.
• Medycy są zdania, że sztuczna inteligencja powinna być włączona do codziennej praktyki klinicznej, aby ułatwić pracę zarówno lekarzom, jak i pacjentom.  

AI może przyspieszyć stawianie diagnoz

- Często chorzy nie pamiętają, jakie leki przyjmują, na pytania o to, odpowiadają: małe, żółte pastylki w niepieskim opakowaniu - mówi dr Szymon Suwała. - Gdyby dane o przyjmowanych lekarstwach albo alergiach na substancje, o których chory może nie pamiętać, mogła przetwarzać sztuczna inteligencja, lekarz miałby pewność, ze przepisywane przez niego leki nie wejdą w niechciane interakcje i w konsekwencji nie wpłyną na pogorszenie stany pacjenta - dodaje.