Artifical intelligence models to diagnose diabetic retinopathy. Part2

Prof. dr hab. n. med. AndrzejGrzybowski

Kierownik Katedry Okulistyki, Uniwersytet Warmińsko-Mazurski, Olsztyn Kierownik Instytutu Okulistycznych Badań Naukowych, Fundacja Okulistyka 21, Poznań

Streszczenie

Druga część artykułu omawia trzy zaawansowane systemy sztucznej inteligencji wykorzystywane do przesiewowej diagnostyki retinopatii cukrzycowej (DR): Retinalyze, RetmarkerDR i EyeArt. Retinalyze, opracowany w Danii, analizuje obrazy dna oka i wizualizuje zmiany siatkówkowe, umożliwiając zrozumienie decyzji algorytmu. RetmarkerDR, wdrożony w Portugalii, działa jako system preselekcji pacjentów, rozpoznaje progresję choroby i analizuje tempo rotacji mikrotętniaków jako wskaźnik progresji DR. EyeArt, opracowany przez Eyenuk Inc., był szeroko testowany na bardzo dużych populacjach pacjentów i osiągnął wysoką czułość i swoistość. W najnowszym badaniu klinicznym EyeArt wykazał skuteczność porównywalną lub lepszą niż klasyczna oftalmoskopia przeprowadzana przez okulistów. Analiza pokazuje, że systemy AI mogą zrewolucjonizować przesiewowe wykrywanie DR, skracając czas oceny obrazów i poprawiając dostępność diagnostyki, lecz różnice w czułości i swoistości pomiędzy systemami podkreślają konieczność dalszej walidacji i optymalizacji.

Słowa kluczowe: retinopatia cukrzycowa, sztuczna inteligencja, głębokie uczenie, Retinalyze, RetmarkerDR, EyeArt, mikrotętniaki, przesiewowe badania okulistyczne, czułość i swoistość, analiza obrazów siatkówki

Abstract

The second part of the article discusses three advanced artificial intelligence systems used for screening diabetic retinopathy (DR): Retinalyze, RetmarkerDR, and EyeArt. Retinalyze, developed in Denmark, analyzes fundus images and provides annotated visualizations of retinal changes, enabling better interpretation of AI decisions. RetmarkerDR, implemented in Portugal, functions as a triage system that detects disease progression and monitors microaneurysm turnover as a predictive marker. EyeArt, developed by Eyenuk Inc., has been extensively validated on large patient populations and demonstrated high sensitivity and specificity. In its most recent clinical trial, EyeArt outperformed or matched the accuracy of traditional ophthalmoscopy performed by ophthalmologists. The analysis shows that AI systems have the potential to revolutionize DR screening by accelerating image assessment and improving diagnostic accessibility, although differences in diagnostic performance highlight the need for further validation and optimization.

Key words: diabetic retinopathy, artificial intelligence, deep learning, Retinalyze, RetmarkerDR, EyeArt, microaneurysms, ophthalmic screening, sensitivity and specificity, retinal image analysis

Retinalyze

Retinalyze to system przesiewowy do wykrywania retinopatii cukrzycowej (DR, diabetic retinopathy) opracowany w Danii. Jak wspomniano wcześniej, jest jednym z pierwszych opublikowanych programów do automatycznej analizy DR, z pierwszymi raportami dotyczącymi jego skuteczności pochodzącymi z 2003 r., opartymi na skanowanych obrazach dna oka z kliszy 35 mm. System oferuje interfejs internetowy, który generuje wynik dla każdego obrazu. Obrazy są przesyłane przez interfejs przy użyciu bezpiecznego protokołu internetowego. Wyniki są przedstawiane w postaci liczby/wagi wykrytych zmian siatkówki jako: brak zmian, łagodne zmiany siatkówki lub poważne zmiany. Ciekawą funkcją Retinalyze jest możliwość zobaczenia opatrzonego adnotacjami obrazu z zaznaczonymi wykrytymi zmianami siatkówki, pozwalającego zrozumieć, co wpłynęło na wynik algorytmu.

Po okresie nieaktywności system został ponownie wprowadzony w 2013 r. z modernizacjami opartymi na współczesnych technikach uczenia maszynowego. Retinalyze posiadał certyfikat zgodności z normami europejskimi (CE) na poziomie I według poprzednich regulacji. Oferuje również przesiewowe badania w kierunku AMD i jaskry na podstawie tych samych zdjęć dna oka [1].

RetmarkerDR

Retmarker to system wykrywania retinopatii cukrzycowej pochodzący z Portugalii. Jest to jedno z pierwszych narzędzi sztucznej inteligencji (AI, artifical intelligence), które zostało z powodzeniem wdrożone do rzeczywistych badań przesiewowych, a nie tylko do celów badań klinicznych. W centralnym regionie Portugalii od 2001 r. funkcjonuje długoletni program przesiewowy DR. W 2011 r. RetmarkerDR został wdrożony do istniejącego programu przesiewowego opartego na ocenie przez ludzkich ekspertów. Program ten polega na zespołach fotografów wyposażonych w mobilne kamery dna oka, które rotują między różnymi placówkami medycznymi, pokrywając całą trasę w ciągu 12 miesięcy, a następnie powtarzając cykl.

Pacjenci z cukrzycą i bez historii leczenia DR są zapraszani na badania przesiewowe w lokalnych ośrodkach zdrowia. Obrazy są następnie przesyłane co tydzień do centralnego ośrodka odczytu. Retmarker stanowi pierwszą linię analizy przesyłanych obrazów. Obrazy, w których algorytm wykrywa oznaki DR lub progresję choroby w przypadku powtarzanych badań, są przesyłane do oceny przez ludzkich ekspertów, podobnie jak obrazy uznane za niskiej jakości. W tym przypadku Retmarker jest używany do wstępnego sortowania na dwie kategorie: „choroba” lub „brak choroby”, co określa potrzebę oceny przez ludzkiego eksperta w podgrupie „choroba”. W celu zapewnienia jakości pewna liczba wyników negatywnych DR jest również przesyłana do analizy przez ludzi, przy czym eksperci nie są informowani o decyzji AI.

Wdrożenie algorytmu AI do wykrywania DR opiera się na bardzo wysokiej czułości, ponieważ fałszywie negatywne wyniki rzadko są wykrywane, ale można sobie pozwolić na niższą specyficzność. Dopóki system eliminuje znaczną liczbę obrazów z analizy przez ludzi, nie pomijając przypadków zaawansowanej choroby, proces ten prawdopodobnie będzie efektywny pod względem zasobów, ponieważ nawet specyficzność na poziomie 50% oznacza zmniejszenie pracy ludzkich ekspertów niemalże o połowę.

Ciekawą cechą Retmarkera, która wyróżnia go na tle innych algorytmów, jest możliwość uwzględnienia poprzednich badań przesiewowych. Porównując obrazy dna oka z poprzednich wizyt, system może śledzić zmiany siatkówki i określić, czy nastąpiła progresja. Prowadzi to do kolejnego interesującego obszaru – śledzenia mikrotętniaków. Mikrotętniaki z czasem znikają, a tworzą się nowe. Śledzenie tych zmian przy użyciu tradycyjnych metod opartych na ocenie przez ludzi jest bardzo pracochłonne, a dla AI – niemal natychmiastowe. Tempo pojawiania się i znikania mikrotętniaków zostało nazwane „wskaźnikiem rotacji mikrotętniaków”. Opublikowano kilka badań pokazujących, że ten parametr jest obiecującym czynnikiem predykcyjnym przyszłej progresji DR [2–4]. Chociaż badania konsekwentnie łączyły zwiększoną rotację mikrotętniaków z większym ryzykiem DR, ustalenie klinicznie istotnego i możliwego do zastosowania związku między rotacją zmian a progresją retinopatii cukrzycowej wymaga dalszych prac.

Oprócz wdrożenia w Portugalii, RetmarkerDR został również przebadany w jednym z nielicznych opublikowanych bezpośrednich porównań systemów AI do wykrywania DR. Badanie to, przeprowadzone w celu oceny potencjalnego wprowadzenia autonomicznego oprogramowania do wykrywania DR do istniejącego angielskiego programu przesiewowego, zaprosiło twórców algorytmów AI do zgłoszenia swoich rozwiązań. W badaniu wzięły udział trzy systemy: RetmarkerDR, EyeArt i iGradingM. Z powodu problemów technicznych iGradingM oprogramowanie do wykrywania DR powstałe w Szkocji zostało zdyskwalifikowane, a jego firma macierzysta – rozwiązana. Badanie obejmowało obrazy z rutynowych wizyt przesiewowych ponad 20 000 pacjentów w angielskim ośrodku przesiewowym, które zostały wcześniej ocenione zgodnie z krajowym protokołem przesiewowym. Obrazy zostały przetworzone przez systemy, a wszelkie rozbieżności w ocenie między AI a ludzkimi ekspertami zostały przesłane do zewnętrznego ośrodka odczytu. Badano zarówno skuteczność wykrywania DR, jak i opłacalność [5]. Badanie zakończyło się następującymi poziomami czułości i specyficzności:

Czułość:

• EyeArt – 94,7% dla jakiejkolwiek retinopatii, 93,8% dla retinopatii wymagającej skierowania (ocenianej przez ludzi jako nieklasyfikowalna, makulopatia, przedproliferacyjna lub proliferacyjna), 99,6% dla retinopatii proliferacyjnej;
• Retmarker – 73,0% dla jakiejkolwiek retinopatii, 85,0% dla retinopatii wymagającej skierowania, 97,9% dla retinopatii proliferacyjnej.

Specyficzność:

• EyeArt – 20% dla jakiejkolwiek DR;
• Retmarker – 52,3% dla jakiejkolwiek DR.

Chociaż czułość EyeArt była znacznie wyższa, sytuacja odwróciła się w przypadku specyficzności. Warto zauważyć, że oba systemy miały znacznie niższą specyficzność w porównaniu z bardziej współczesnymi raportami i szacunkami dotyczącymi tych i innych oprogramowań. Należy pamiętać, że chociaż badanie zostało opublikowane w 2016 r., rozpoczęło się kilka lat wcześniej, w okresie, gdy metody uczenia maszynowego i analizy obrazu znacząco się poprawiły, co prawdopodobnie wpłynęło na rozwój algorytmów.

EyeArt

EyeArt, drugie oprogramowanie porównywane w ramach brytyjskiego programu przesiewowego, jest rozwijane przez Eyenuk Inc. z siedzibą w Los Angeles w USA. Oferuje również inny produkt – EyeMark do śledzenia progresji DR, który, podobnie jak Retmarker, umożliwia pomiar rotacji mikrotętniaków. EyeArt może przyjmować zmienną liczbę zdjęć na pacjenta, co czyni go odpowiednim dla różnych scenariuszy przesiewowych bez konieczności dodatkowych modyfikacji, w przeciwieństwie do niektórych systemów konkurencyjnych. Rozwiązuje to wiele problemów, jak pokazał przykład IDxDR, który musiał zostać specjalnie zmodyfikowany, aby przyjmować pojedynczy obraz na oko w zestawie danych Messidor-2, zamiast typowego wejścia dwóch obrazów.

EyeArt został zweryfikowany retrospektywnie na bazie danych obejmującej 78 685 wizyt pacjentów (łącznie 627 490 obrazów) z wynikiem „skierować/nie skierować” i ostateczną czułością przesiewową 91,7% oraz specyficznością 91,5% w porównaniu z oceną przez ekspertów z Eye Picture Archive Communication System (EyePACS), jednak tylko streszczenie badania było dostępne online [6].

Wydaje się, że twórca EyeArt postanowił kontynuować tę linię badań, publikując pełne badanie przeprowadzone na ponad 100 000 kolejnych wizyt pacjentów z bazy danych EyePACS. Łącznie przeanalizowano 850 908 obrazów zebranych z 404 placówek podstawowej opieki zdrowotnej w latach 2014–2015. Pacjenci zazwyczaj mieli wykonanych 8 zdjęć, 4 na oko: 1 obraz zewnętrzny oka, pojedynczy obraz skoncentrowany na plamce i tarczy nerwu wzrokowego oraz obraz skroniowy do tarczy, chociaż żaden pacjent nie został zdyskwalifikowany z powodu liczby wykonanych zdjęć lub ich rozdzielczości. Obrazy były prawie równo podzielone między zdjęcia bez mydriazy (54%) i z mydriazą (46%). Ostateczne wyniki wykrywania DR wymagającej skierowania wyniosły czułość 91,3% i specyficzność 91,1%, zgodnie z wcześniejszymi częściowymi wynikami. Czułość wykrywania wyższych poziomów DR, które są leczone – ciężkiej lub proliferacyjnej DR – wyniosła 98,5%, a wykrywanie CSME – 97,1% (w porównaniu z oceną przez ludzi na podstawie tych samych zdjęć dna oka). Dokładność systemu nie wydawała się zmieniać w zależności od mydriazy, z czułością 98,0% i 98,8% dla wykrywania leczonej DR odpowiednio w przypadku wizyt pacjentów bez mydriazy i z mydriazą. Tylko 910 wizyt, czyli mniej niż 1%, zostało uznanych za niemożliwe do przesiewania przez EyeArt, z czego 198 wizyt zostało wcześniej uznanych za niewystarczające do pełnej oceny przez ludzi. Niemniej jednak wśród tych 910 wizyt ponad jedna trzecia badanych miała ciężką lub proliferacyjną DR, a autorzy zauważają, że system traktuje przypadki niemożliwe do przesiewania jako pozytywne ze względu na bezpieczeństwo pacjentów [7].

EyeArt przeanalizował całą kohortę ponad 100 000 wizyt przesiewowych, prawie milion obrazów, w mniej niż 2 pełne dni [8]. Zakładając średni czas oceny 30 s na obraz, to samo zadanie zajęłoby około 7000 godz. pracy lub wymagałoby około 4 pełnoetatowych ekspertów pracujących przez cały rok, co pokazuje, jak znacznie szybsza może być analiza komputerowa. Oczywiście w rzeczywistym scenariuszu przesiewowym nikt nie ocenia tysięcy obrazów naraz, ale szybki wynik dostępny w ciągu kilku minut od badania jest znacznie bardziej satysfakcjonujący, a AI może to robić 24 godz. na dobę, każdego dnia w roku.

EyeArt osiągnął podobne wyniki pod względem czułości do wspomnianego wcześniej badania z Wielkiej Brytanii dotyczącego wykonalności przesiewowego wykrywania DR za pomocą AI, chociaż istnieje bardzo znacząca rozbieżność w specyficzności między tymi dwoma badaniami [7, 8]. Jak wspomniano wcześniej, badania te nie były przeprowadzane w tym samym okresie, a dalsze ulepszenia systemu prawdopodobnie odpowiadają za wzrost jego dokładności. Rzeczywiście, autorzy sami opisują poprawę, jaką przeszła wersja 1.2 EyeArt (nadal oparta na tradycyjnych technikach analizy obrazu), z włączeniem wielu konwolucyjnych sieci neuronowych. EyeArt został również przetestowany na zestawie danych Messidor-2. Czułość wykrywania DR wymagającej skierowania wyniosła 93,8%, a specyficzność 72,2%. Co ważne, ten zestaw danych nie ma wstępnie zdefiniowanego wyniku lub oceny, co wymaga oddzielnego zestawu ekspertów do oceny w celu porównania z AI, a ta ocena jest oddzielna dla każdego badania, co dodatkowo utrudnia bezpośrednie porównanie systemów.

Wreszcie EyeArt niedawno opublikował wyniki swojego najbardziej solidnego badania klinicznego do tej pory. Badanie zostało zarejestrowane wcześniej, podobnie jak kluczowe badanie IDx-DR, i obejmowało podobną liczbę pacjentów – łącznie 893 pacjentów. Badanie przesiewowe przeprowadzono w klinikach podstawowej opieki zdrowotnej, najpierw z dwupolowymi zdjęciami dna oka bez mydriazy, a następnie z czteropolowymi zdjęciami z mydriazą. Badanie porównało zdolność EyeArt do wykrywania klinicznie istotnego cukrzycowego obrzęku plamki (CSME, clinically significant macular edema), umiarkowanej nieproliferacyjnej DR lub wyższej na podstawie dwupolowego obrazowania z decyzją zewnętrznego ośrodka odczytu (Wisconsin Fundus Photograph Reading Center, takiego samego jak w badaniu IDx-DR) na podstawie czterech szerokokątnych stereoskopowych obrazów na oko. W przypadku badań przesiewowych bez mydriazy EyeArt wykazał wysoką czułość na poziomie 95,5%, dobrą specyficzność 86% i możliwość oceny 87,5%. Po rozszerzeniu źrenic pacjentów z grupy początkowo niemożliwej do oceny ogólna możliwość oceny wzrosła do 97,4%, przy zachowaniu tej samej czułości i wzroście specyficzności o 0,5% do 86,5%. Chociaż to badanie nie obejmowało obrazowania optycznej koherentnej tomografii (OCT, optical coherence tomography) w celu wykrycia CSME, pod wszystkimi innymi względami wydaje się podobne do badania klinicznego IDx-DR, ze zbliżonymi wynikami pod względem dokładności obu systemów.

Innym wynikiem, być może jeszcze bardziej zaskakującym niż doskonała wydajność AI, było porównanie oparte na podgrupie pacjentów w tym badaniu, którzy przeszli oftalmoskopię po rozszerzeniu źrenic po obrazowaniu dna oka. Łącznie przebadano 497 pacjentów w 10 ośrodkach klinicznych w USA, w tym w specjalistycznych ośrodkach siatkówkowych i ogólnych klinikach okulistycznych. Wyniki porównano z decyzją arbitrażową ośrodka odczytu Wisconsin na podstawie czterech szerokokątnych stereoskopowych zdjęć dna oka. Chociaż badania oftalmoskopowe miały wysoką specyficzność 99,5%, towarzyszyła jej bardzo niska czułość 28,1% ogółem. Nawet wśród specjalistycznych ośrodków siatkówkowych czułość wynosiła tylko 59,1% [8]. To pokazuje, że ocena przez ludzi przy użyciu oftalmoskopii, jednego z powszechnie dostępnych narzędzi w klinikach podstawowej opieki zdrowotnej, jest mało prawdopodobna, aby była rozsądnym rozwiązaniem przesiewowym, skoro nawet okuliści mają problemy z jej dokładnością.

Piśmiennictwo:

1. Grzybowski A.: Artificial inteligence in ophthalmology, Springer 2021.
2. Haritoglou C., Kernt M., Neubauer A., Gerss J. i wsp.: Microaneurysm formation rate as a predictive marker for progression to clinically significant macular edema in non-proliferative diabetic retinopathy. Retina 2014; 34(1): 157-164.
3. Nunes S., Pires I., Rosa A., Duarte L. i wsp.: Microaneurysm turnover is a biomarker for diabetic retinopathy progression to clinically significant macular edema: findings for type 2 diabetics with nonproliferative retinopathy. Ophthalmologica 2009; 223(5): 292-297.
4. Pappuru R.K., Ribeiro L., Lobo C., Alves D., Cunha-Vaz J.: Microaneurysm turnover is a predictor of diabetic retinopathy progression. Br. J. Ophthalmol. 2019; 103(2): 222-226.
5. Tufail A., Kapetanakis V.V., Salas-Vega S., Egan C. i wsp.: An observational study to assess if automated diabetic retinopathy image assessment software can replace one or more steps of manual imaging grading and to determine their cost-effectiveness. Health Technol. Assess. 2016; 20(92): 1-72.
6. Bhaskaranand M., Ramachandra C., Bhat S., Cuadros J. i wsp.: The value of automated diabetic retinopathy screening with the EyeArt system: A study of more than 100,000 Consecutive encounters from people with diabetes. Diabetes Technol. Ther. 2019; 21(11): 635-643.
7. Solanki K., Bhaskaranand M., Bhat S., Ramachandra C i wsp.: Automated diabetic retinopathy screening: large-scale study on consecutive patient visits in a primary care setting. Diabetologia. Springer 233 SPRING ST, NY 10013; 2016: S64-S64.
8. Ipp E., Shah V.N., Bode B.W., Sadda S.R.: 599-P: Diabetic retinopathy (DR) screening performance of general ophthalmologists, retina specialists, and artificial intelligence (AI): Analysis from a pivotal multicenter prospective clinical trial. Diabetes [Internet]. 2019 Jun 1 [cited 2020 Feb 26]; 68 (Suppl. 1). doi: https://diabetes.diabetesjournals.org/content/68/Supplement_1/599-P

Współfinansowane ze środków Ministerstwa Edukacji i Nauki na podstawie umowy nr. POPUL/SN/0475/2023/01  w ramach projektu pt.:  Kampania edukacyjna „Sztuczna inteligencja w okulistyce”