W związku z tym potrzebne są przyszłe badania nad walidacją algorytmów na rzeczywistych obrazach oka z heterogennych populacji, w tym obrazów dobrej i niskiej jakości. W przeciwnym razie możemy spotkać się z dobrą sztuczną inteligencją prowadzącą do nieprawidłowych wyników. Wybieranie przez autorów badań najlepszych wyników, co jest częstą praktyką, może jeszcze pogorszyć sytuację. Należy podkreślić, że algorytmy oparte na sztucznej inteligencji mogą zachowywać się nieprzewidywalnie, gdy są stosowane w warunkach rzeczywistych. Wykazano, że działanie algorytmu pogarsza się, gdy stosuje się go do obrazów generowanych przez inne urządzenie lub w innym środowisku klinicznym niż zestaw treningowy. Wszystkie te problemy mogą prowadzić do błędnej diagnozy i błędnych propozycji leczenia, podważając zaufanie do technologii sztucznej inteligencji. Wreszcie powinniśmy być w stanie wyobrazić sobie, że jeśli system sztucznej inteligencji popełni błąd, może zaszkodzić setkom, a nawet tysiącom pacjentów. Dlatego lubię cytować Tetlocka i Gardnera (Superprognozowanie), którzy powiedzieli: „Jeśli nie otrzymujesz informacji zwrotnej, twoja pewność siebie rośnie znacznie szybciej niż dokładność”.
Jedno z ostatnich niezależnych badań porównujących siedem różnych algorytmów wykazało, że jeden z testowanych algorytmów był znacznie gorszy od oceniających ludzi na wszystkich poziomach nasilenia retinopatii cukrzycowej – przeoczył ponad 25% przypadków zaawansowanej retinopatii, co może potencjalnie prowadzić do poważnych konsekwencji (1) . Badanie to wykazało możliwe problemy i zagrożenia bezpieczeństwa pacjenta związane z klinicznym wykorzystaniem niektórych algorytmów. Obejmują one ograniczenia związane z uczeniem algorytmu na określonej grupie demograficznej, obejmującej jednorodne pochodzenie etniczne, wiek, płeć, oraz jego dalsze wykorzystanie na innej populacji. Ponadto wiele badań wyklucza obrazy niskiej jakości, traktowane jako obrazy nie podlegające ocenie, oraz pacjentów ze współistniejącymi chorobami oczu, co sprawia, że w mniejszym stopniu odzwierciedlają one warunki rzeczywistego życia.
Należy również pamiętać, że algorytmy AI można zaprojektować tak, aby działały w nieetyczny sposób. Na przykład oprogramowanie Ubera, Greyball, zostało zaprojektowane, aby umożliwić firmie identyfikowanie i obchodzenie lokalnych przepisów, a algorytm Volkswagena pozwalał pojazdom przejść testy emisji poprzez zmniejszenie emisji tlenku azotu podczas badań diagnostycznych. Co więcej, algorytmy wspomagające podejmowanie decyzji klinicznych mogą być zaprojektowane tak, aby generować większe zyski dla ich właścicieli, takie jak polecanie konkretnych leków, testów i nie tylko, bez świadomości samych lekarzy i pacjentów. Wreszcie, systemy sztucznej inteligencji są podatne na tzw. cyberataki, które mogą spowodować błędną klasyfikację informacji medycznych przez algorytm. Po więcej informacji na ten temat sięgnij do naszej najnowszej publikacji Sztuczna inteligencja w okulistyce (2).
1. Lee AY, et al. Multicenter, Head-to-Head, Real-World Validation Study of Seven Automated Artificial Intelligence Diabetic Retinopathy Screening Systems. Diabetes Care. 2021 May;44(5):1168-1175.
2. Artificial Intelligence in Ophthalmology, A. Grzybowski (ed), Springer 2021. https://link.springer.com/book/10.1007/978-3-030-78601-4
