Large language models (LLMs) in ophthalmology

Prof. dr hab. n. med. AndrzejGrzybowski

Kierownik Katedry Okulistyki, Uniwersytet Warmińsko-Mazurski, Olsztyn Kierownik Instytutu Okulistycznych Badań Naukowych, Fundacja Okulistyka 21, Poznań

Streszczenie

Artykuł omawia rolę dużych modeli językowych (LLM) w okulistyce, wskazując ich potencjał w automatyzacji dokumentacji medycznej, analizie obrazów, we wspomaganiu diagnostyki, w triażu pacjentów oraz edukacji chorych. Dzięki architekturze transformatorów i możliwościom multimodalnym, LLM umożliwiają integrację danych tekstowych, obrazowych i wywiadów, co daje pełniejszy obraz stanu zdrowia pacjenta. W pracy podkreślono jednak również ograniczenia, takie jak brak wyjaśnialności, ryzyko błędnych rozpoznań, trudności integracji z systemami EHR, ograniczenia językowe oraz wyzwania etyczno-prawne. Zwrócono uwagę na przyszłość technologii, w tym rozwój multimodalnych modeli AI i poprawę przejrzystości działania algorytmów. Duże modele językowe mogą w istotny sposób zrewolucjonizować okulistykę, ale wymagają dalszych badań i bezpiecznej implementacji.

Słowa kluczowe: duże modele językowe, okulistyka, sztuczna inteligencja, dokumentacja medyczna, diagnostyka, analiza obrazów, multimodalne modele AI

Abstract

This article discusses the role of large language models (LLMs) in ophthalmology, highlighting their potential in automating medical documentation, image analysis, supporting diagnostics, patient triage, and education. Enabled by transformer architectures and multimodal capabilities, LLMs can integrate textual, imaging, and clinical interview data, providing a more comprehensive view of a patient’s condition. However, the article also addresses current limitations, including lack of explainability, risk of misdiagnosis, challenges in integrating with EHR systems, multilingual accuracy issues, and ethical/legal concerns. Future perspectives focus on the development of multimodal models and improved transparency of decision-making processes. LLMs hold the potential to significantly transform ophthalmology, but further research and careful implementation are required to ensure safety and effectiveness.

Key words: large language models, ophthalmology, artificial intelligence, medical documentation, diagnostics, image analysis, multimodal AI models

Praca współfinansowana ze środków Ministerstwa Edukacji i Nauki na podstawie umowy nr. POPUL/ SN/0475/2023/01 w ramach projektu pt.: Kampania edukacyjna „Sztuczna inteligencja w okulistyce”

Na wstępie należy zacząć od omówienia podstaw dużych modeli językowych (LLM, large language models), takich jak ChatGPT, oraz innych narzędzi opartych na sztucznej inteligencji. Modele te, wykorzystujące technologię przetwarzania języka naturalnego (NLP, natural language processing), są obecnie szeroko stosowane w różnych dziedzinach, w tym w medycynie. Przełomowe osiągnięcia LLM, takie jak architektura transformatorów, umożliwiły znaczące postępy w zrozumieniu i generowaniu języka. Modele te są wykorzystywane w różnych zadaniach związanych z analizą tekstu, klasyfikacją, generowaniem dokumentów, a także interaktywną komunikacją z pacjentami i lekarzami.

Rozwój technologii NLP

Technologia przetwarzania języka naturalnego przeszła przez kilka kluczowych etapów. W początkowych latach polegano na modelach opartych na regułach, które miały ograniczone możliwości ze względu na złożoność języka. Z czasem pojawiły się statystyczne modele językowe, które próbowały przewidywać kolejne słowa w oparciu o poprzednie, jednak miały swoje ograniczenia związane z kontekstem i wydajnością. Prawdziwy przełom przyniosło wprowadzenie architektury transformatorów, która umożliwiła lepsze zrozumienie kontekstu słów w zdaniach. Modele takie jak BERT i GPT stały się fundamentem współczesnych LLM.

Przełomowe osiągnięcia LLM w medycynie

W kontekście medycyny LLM, takie jak ChatGPT, wykazały zdolność do rozwiązywania złożonych problemów związanych z analizą dokumentów, automatycznym generowaniem notatek medycznych oraz interakcją z pacjentami. Modele te mają ogromny potencjał do usprawniania procesów medycznych, a ich zastosowanie w okulistyce staje się coraz bardziej widoczne. Na przykład, LLM mogą wspierać lekarzy w diagnostyce, analizie wyników badań obrazowych, a także w dostosowywaniu materiałów edukacyjnych do poziomu zrozumienia pacjentów.

Zastosowania dużych modeli językowych w okulistyce

Automatyzacjadokumentacjimedycznej

Jednym z najbardziej obiecujących zastosowań LLM w okulistyce jest automatyzacja dokumentacji medycznej. Dokumentacja medyczna jest kluczowym, ale czasochłonnym elementem pracy lekarzy, szczególnie w specjalnościach takich jak okulistyka, gdzie liczba pacjentów może być znacznie większa niż w innych dziedzinach medycyny. Modele LLM mogą stać się wirtualnymi skrybami, automatycznie generując zapisy wizyt, streszczenia wypisów ze szpitala czy notatki pooperacyjne.

Modele te mogą działać w tle, rejestrując rozmowy między lekarzem a pacjentem, a następnie generując zwięzłe i dokładne streszczenia. Automatyczne generowanie dokumentów medycznych pozwala lekarzom na skupienie się na bezpośredniej opiece nad pacjentem, zamiast poświęcania czasu na wprowadzanie danych do systemów informatycznych. To także zmniejsza ryzyko błędów wynikających z ręcznego wprowadzania danych.

Triażpacjentów

Modele LLM mogą wspierać proces triażu (triage), czyli wstępnej oceny stanu pacjenta i skierowania go do odpowiedniego specjalisty lub na odpowiednie badania. W okulistyce, gdzie wiele chorób może dawać podobne objawy (np. zaczerwienienie oka), LLM mogą wspomóc lekarzy w szybkiej analizie objawów na podstawie danych wprowadzonych przez pacjenta lub personel medyczny. Modele takie jak GPT-4 potrafią skutecznie zidentyfikować kluczowe objawy i sugerować kolejne kroki diagnostyczne, co może przyspieszyć proces leczenia i zmniejszyć liczbę niepotrzebnych wizyt.

Wsparciewedukacji pacjentów

Duże modele językowe mogą także odgrywać ważną rolę w edukacji pacjentów, tworząc spersonalizowane materiały edukacyjne dostosowane do poziomu zrozumienia i potrzeb pacjenta. Dzięki analizie danych takich jak wiek, wykształcenie i poziom znajomości terminów medycznych, LLM mogą generować instrukcje i wyjaśnienia, które są bardziej zrozumiałe dla pacjentów. Przykładowo, pacjent z zaawansowaną jaskrą może otrzymać łatwe do zrozumienia wyjaśnienia dotyczące leczenia, a także wskazówki dotyczące dbania o wzrok i regularnych kontroli.

Analizaobrazów

Jednym z najbardziej zaawansowanych zastosowań LLM w okulistyce jest analiza obrazów, która jest kluczowa w diagnostyce wielu chorób oczu, takich jak retinopatia cukrzycowa, zwyrodnienie plamki związane z wiekiem czy jaskra. Modele te mogą być zintegrowane z systemami do analizy obrazów optycznej tomografii koherentnej (OCT, opticalcoherencetomography) czy angiografii fluoresceinowej, co pozwala na szybkie i dokładne rozpoznanie. Dzięki możliwościom analizy obrazów LLM mogą zidentyfikować zmiany w siatkówce, takie jak mikrotętniaki czy wysięki, które są trudne do wykrycia gołym okiem.

Rozpoznawanieileczeniechoróboczu

Duże modele językowe mają potencjał do wspierania lekarzy w diagnostyce chorób oczu, a także w tworzeniu spersonalizowanych planów leczenia. Przykładowo, w diagnostyce chorób takich jak retinopatia cukrzycowa, modele AI mogą analizować obrazy dna oka i identyfikować zmiany patologiczne, które sugerują wczesne stadium choroby. Dzięki temu pacjenci mogą otrzymać leczenie wcześniej, co może znacznie poprawić ich szanse na zatrzymanie postępu choroby.

Wykorzystanie multimodalnych modeli AI

Nowoczesne modele LLM stają się coraz bardziej multimodalne, co oznacza, że mogą integrować różne źródła danych, takie jak tekst, obraz czy wideo. W okulistyce oznacza to, że modele te mogą jednocześnie analizować dane z badań obrazowych, notatek medycznych oraz wywiadów z pacjentami, co daje pełniejszy obraz stanu zdrowia pacjenta. Na przykład, model może jednocześnie analizować wyniki angiografii fluoresceinowej oraz opisy objawów pacjenta, aby dokładniej określić przyczynę problemu i zaproponować odpowiednie leczenie.

Ograniczenia i wyzwania związane z LLM w medycynie

Brakwyjaśnialnościmodeli

Jednym z głównych wyzwań związanych z zastosowaniem LLM w medycynie jest tzw. „czarna skrzynka” – lekarze i pacjenci często nie wiedzą, w jaki sposób model dochodzi do konkretnego rozpoznania lub rekomendacji. Modele, mimo że potrafią analizować ogromne ilości danych, często nie są w stanie jasno wyjaśnić swojego procesu decyzyjnego. To może prowadzić do braku zaufania do tych technologii, szczególnie w przypadkach, gdy wyniki są sprzeczne z doświadczeniem lekarzy.

Ryzykobłędnychrozpoznań

Chociaż LLM mogą wspierać diagnostykę, istnieje ryzyko, że model może popełnić błąd, szczególnie w przypadkach nietypowych lub rzadkich chorób. Modele te są trenowane na dużych zbiorach danych, które nie zawsze obejmują wszystkie możliwe scenariusze kliniczne, co może prowadzić do niepełnych lub błędnych rekomendacji. Z tego powodu LLM powinny być stosowane jako narzędzie wspomagające decyzje, a nie jako jedyne źródło diagnostyczne.

Wyzwania związane z integracją z systemami EHR Integracja LLM z systemami elektronicznej dokumentacji medycznej (EHR, Electronic Health Record) jest kluczowa dla ich skutecznego działania, ale może być trudna do zrealizowania. Systemy EHR są często zróżnicowane pod względem formatów danych i sposobów ich przechowywania, co utrudnia integrację z LLM. Ponadto, modele AI muszą przestrzegać ścisłych regulacji dotyczących ochrony danych pacjentów, takich jak RODO, co jest dodatkowym wyzwaniem.

Problemyzdokładnościąwkontekstachwielojęzycznych

Modele takie jak ChatGPT są zazwyczaj trenowane na tekstach w języku angielskim, co oznacza, że ich dokładność w innych językach może być niższa. W kontekście międzynarodowej medycyny, gdzie pacjenci mówią różnymi językami, może to stanowić istotny problem. Modele muszą być dostosowane do specyficznych wymagań językowych i kulturowych, aby móc skutecznie wspierać lekarzy i pacjentów na całym świecie.

Problemyetyczneiprawne

Zastosowanie LLM w medycynie wiąże się również z pewnymi kwestiami etycznymi i prawnymi. Na przykład, kto ponosi odpowiedzialność w przypadku, gdy model AI popełni błąd, prowadzący do niewłaściwego rozpoznania lub leczenia? Jak zapewnić, że dane pacjentów są chronione i wykorzystywane w sposób odpowiedzialny? Te pytania są kluczowe, aby technologia AI mogła być stosowana bezpiecznie i zgodnie z obowiązującymi przepisami.

Przyszłość dużych modeli językowych w okulistyce

Duże modele językowe mają ogromny potencjał do rewolucjonizowania wielu aspektów medycyny, w tym okulistyki. W miarę jak technologie te stają się coraz bardziej zaawansowane, można spodziewać się dalszej integracji z systemami opieki zdrowotnej, co może prowadzić do bardziej spersonalizowanej opieki nad pacjentem, szybszej diagnostyki oraz efektywniejszych procesów klinicznych.

Poprawadokładnościiwyjaśnialności

W przyszłości można spodziewać się większej dokładności modeli LLM oraz lepszej wyjaśnialności ich decyzji. Naukowcy pracują nad rozwijaniem narzędzi, które pozwolą na lepsze zrozumienie, w jaki sposób modele AI podejmują decyzje, co zwiększy zaufanie do tych technologii.

Rozwójmultimodalnychmodeli

Multimodalne modele, które mogą integrować dane tekstowe, obrazowe i dźwiękowe, staną się kluczowym elementem przyszłości AI w medycynie. Dzięki temu modele te będą mogły analizować bardziej złożone dane i dostarczać bardziej kompleksowych rekomendacji.

Współpraca AI zlekarzami

W przyszłości modele LLM będą coraz częściej wspierały lekarzy w podejmowaniu decyzji, ale nie zastąpią ich całkowicie. Sztuczna inteligencja stanie się narzędziem, które pomoże lekarzom analizować dane, tworzyć plany leczenia i komunikować się z pacjentami, ale ostateczna odpowiedzialność za decyzje medyczne pozostanie po stronie specjalistów.

Wnioski

Duże modele językowe, takie jak ChatGPT, mają ogromny potencjał do rewolucjonizowania praktyki medycznej, w tym okulistyki. Ich zastosowanie w automatyzacji dokumentacji medycznej, analizie obrazowej, diagnostyce i edukacji pacjentów może znacznie poprawić jakość opieki zdrowotnej. Jednakże, aby w pełni wykorzystać potencjał tych technologii, konieczne jest dalsze badanie oraz rozwijanie narzędzi, które będą bardziej precyzyjne, wyjaśnialne i bezpieczne dla pacjentów.

Przegląd Okulistyczny nr 3/2025

Polecane piśmiennictwo:

1. Zhao W.X., Zhou K., Li J. i wsp.: A survey of large language models. Available at: https://arxiv.org/abs/2303.18223. 2023.
2. Du R., Xie S., Fang Y. i wsp.: Validation of soft labels in developing deep learning algorithms for detecting lesions of myopic maculopathy from optical coherence tomographic images. Asia-Pac J Ophthalmol (Phila, Pa). 2022; 11(3): 227-236.
3. Mufti´c F., Kaduni´c M., Muˇsinbegovi´c A. i wsp.: Exploring medical breakthroughs: a systematic review of ChatGPT applications in healthcare. Southeast Eur. J. Soft Comput. 2023; 12(1): 13-41.
4. Kung T.H., Cheatham M., Medenilla A. i wsp.: Performance of ChatGPT on USMLE: potential for AI-assisted medical education using large language models. PLoS Digit Health 2023; 2, e0000198.
5. Nori H., King N., McKinney S.M. i wsp.: Capabilities of gpt-4 on medical challenge problems. arXiv preprint arXiv:230313375 2023.
6. Singhal K., Tu T., Gottweis J. i wsp.: Towards expert-level medical question answering with large language models. arXiv preprint arXiv:230509617 2023.
7. Yang L.W.Y., Ng W.Y., Foo L.L. i wsp.: Deep learning-based natural language processing in ophthalmology: applications, challenges and future directions. Curr. Opin. Ophthalmol. 2021; 32(5): 397-405.
8. Chotcomwongse P., Ruamviboonsuk P., Grzybowski A.: Utilizing large language models in ophthalmology: the current landscape and challenges. Ophthalmol. Ther. 2024 Oct; 13(10): 2543-2558.
9. Betzler B.K., Chen H., Cheng C.Y., Grzybowski A. i wsp.: Large language models and their impact in ophthalmology. Lancet Digit. Health 2023 Dec; 5(12): e917-e924.
10. Yang Z., Wang D., Zhou F., Song D. i wsp.: Understanding natural language: Potential application of large language models to ophthalmology. Asia Pac. J. Ophthalmol. (Phila). 2024 Jul-Aug; 13(4): 100085.