Açıklanabilir Yapay Zeka

Giriş

Yapay zekâ (YZ) sistemleri sağlık bilimlerinde tanı koyma, risk tahmini ve klinik karar destek süreçlerinde giderek daha fazla kullanılmaktadır. Bununla birlikte, yüksek doğruluk oranlarına sahip birçok YZ modeli, kararlarının nasıl üretildiğine dair kullanıcıya yeterli bilgi sunmamaktadır. Klinik bağlamda bu durum yalnızca teknik bir sınırlılık değil; hasta güvenliği, etik sorumluluk ve klinik hesap verebilirlik açısından da önemli bir engel oluşturmaktadır. Açıklanabilir yapay zekâ (explainable artificial intelligence, XAI), YZ sistemlerinin ürettiği çıktıların insanlar tarafından anlaşılabilir biçimde gerekçelendirilmesini amaçlayan yaklaşımları ifade etmektedir. Sağlık alanında XAI’nin temel motivasyonu, “neden bu karar verildi?” sorusuna klinik olarak anlamlı yanıtlar üretebilmektir.

Bu bölüm, sağlık bilimlerinde açıklanabilir yapay zekâ yaklaşımlarını kavramsal çerçeve, başlıca yöntem sınıfları ve klinik uygulamalardaki yansımaları üzerinden ele almaktadır. Amaç, XAI yöntemlerinin teknik ayrıntılarını exhaustif biçimde sunmak değil; bu yaklaşımların klinik karar destek süreçlerinde ne tür katkılar sunduğunu, hangi koşullarda anlamlı ve hangi durumlarda sınırlı kaldığını ortaya koymaktır. Bu kapsamda bölümde, doğası gereği açıklanabilir modeller ile sonradan açıklama üreten (post-hoc) yöntemler arasındaki temel farklar, tıbbi görüntüleme ve klinik karar destek sistemlerinden somut örnekler eşliğinde tartışılmaktadır.

Buna karşılık, matematiksel açıklanabilirlik tanımlarının formel ispatları, algoritma düzeyinde optimizasyon ayrıntıları, yazılım uygulamaları ve detaylı nedensel çıkarım çerçeveleri bu bölümün kapsamı dışında bırakılmıştır. Ayrıca XAI yöntemlerinin sağlık ekonomisi, maliyet- etkinlik analizleri veya ülke-özel düzenleyici uygulamalar bağlamındaki ayrıntılı değerlendirmeleri de ele alınmamaktadır. Bölüm, sistematik derleme metodolojisi izlememekte; bunun yerine, güncel ve seçilmiş literatür üzerinden ilerleyen anlatı derlemesi (narrative review) niteliğinde yapılandırılmıştır. Bu yaklaşım, açıklanabilir yapay zekânın sağlık bilimlerinde neden gerekli olduğunu, nasıl kullanıldığını ve hangi sınırlılıklarla birlikte ele alınması gerektiğini klinik bağlama odaklanarak ortaya koymayı amaçlamaktadır.

1.1 Sağlık Bilimlerinde Açıklanabilirliğin Gerekliliği

Sağlık hizmetleri yüksek riskli kararların alındığı bir alandır ve klinik kararlar çoğu zaman geri döndürülemez sonuçlar doğurabilmektedir. Bu nedenle YZ sistemlerinin yalnızca doğru sonuç üretmesi değil, aynı zamanda klinisyenler tarafından yorumlanabilir ve sorgulanabilir olması beklenmektedir. Hulsen’in sağlıkta XAI üzerine yaptığı kapsamlı derleme, klinisyenlerin YZ sistemlerine duyduğu güvenin büyük ölçüde modelin açıklanabilirliğiyle ilişkili olduğunu göstermektedir^1. Açıklanabilirlik, klinisyenin model çıktısını kendi klinik bilgisiyle karşılaştırmasına, olası hataları fark etmesine ve gerektiğinde algoritmik öneriye müdahale etmesine olanak tanır.

Özellikle düzenleyici çerçeveler ve hasta hakları açısından da açıklanabilirlik giderek daha fazla önem kazanmaktadır. Avrupa Birliği Yapay Zekâ Yasası (AIA) bağlamında, sağlık alanında kullanılan yüksek riskli yapay zekâ sistemleri için açıklanabilirliğin düzenleyici bir gereklilik haline geldiği vurgulanmaktadır. AIA’nın insan gözetimi ve sistem çıktılarının anlaşılabilirliğine ilişkin hükümleri, pratikte XAI yaklaşımlarının veya doğası gereği açıklanabilir modellerin kullanılmasını zorunlu kılmaktadır. Bu çerçevede açıklanabilirlik, sağlıkta yapay zekâ uygulamaları açısından yalnızca teknik bir tercih değil, aynı zamanda etik ve hukuki bir norm olarak ele alınmaktadır^2.

1.2 Açıklanabilir Yapay Zekâ Yaklaşımları

Açıklanabilir yapay zekâ yaklaşımları genel olarak iki ana grupta ele alınmaktadır: doğası gereği açıklanabilir (intrinsically interpretable) modeller ve sonradan açıklama üreten (post-hoc) yöntemler. Doğası gereği açıklanabilir modeller, karar ağaçları veya kural tabanlı sistemler gibi, yapıları itibarıyla insan tarafından izlenebilir karar mantıkları sunan yaklaşımlardır. Örneğin yoğun bakımda COVID-19 hastalarında 28 günlük mortaliteyi öngörmek için karar ağacı kullanılan çok merkezli bir kohort çalışmasında, ağaç sıralı karar adımları ile risk ayrımı yapmıştır: önce entübasyon gereksinimi, ardından vazopressör ihtiyacı, sonra yaş, cinsiyet ve PaO₂/FiO₂ oranı gibi değişkenlerle dallanarak 28 günlük mortalite riskini sınıflamıştır. Bu yapı, modelin karar mantığını açık biçimde izlenebilir kıldığı için, hastaların hangi klinik koşullar altında belirli bir risk dalına atandığını göstermekte ve böylece klinik yorumlanabilirlik sunmaktadır^3. Buna karşılık derin öğrenme gibi karmaşık modellerde, açıklama çoğunlukla model eğitildikten sonra üretilmektedir.

Sonradan açıklama üreten açıklama yöntemleri arasında LIME (Local Interpretable Model- agnostic Explanations) ve SHAP (Shapley Additive Explanations) gibi yaklaşımlar öne çıkmaktadır. Bu yöntemler, bir modelin belirli bir hasta için ürettiği kararın hangi özelliklerden ne ölçüde etkilendiğini göstermeyi amaçlar. Örneğin SHAP, her bir klinik veya görüntüye dayalı değişkenin model çıktısına katkısını sayısal olarak ifade ederek karar sürecinin bileşenlerini görünür kılar. Bu tür açıklamalar, klinik karar destek sistemlerinde model çıktısının “neden”ini anlaşılır hale getirerek klinisyen–yapay zekâ etkileşimini güçlendirmektedir. Benzer şekilde LIME, bir yapay zekâ modelinin tekil bir vaka için ürettiği kararın, hangi değişkenler üzerinden ve hangi yönde şekillendiğini yerel olarak açıklamayı hedefler. Örneğin, sepsis riskini tahmin eden bir modelde belirli klinik parametrelerin karar üzerindeki göreli etkilerinin gösterilmesi, klinisyenin model çıktısını klinik tabloyla ilişkilendirmesine olanak tanıyabilir^4.

Tıbbi görüntüleme alanında ise açıklanabilirlik çoğunlukla görsel yöntemlerle sağlanmaktadır. Grad-CAM gibi teknikler, bir görüntü sınıflandırma modelinin karar verirken görüntünün hangi bölgelerine odaklandığını ısı haritaları aracılığıyla göstermektedir. Bu yaklaşım, radyologların modelin gerçekten patolojik alanlara mı yoksa klinik olarak alakasız bölgelere mi odaklandığını değerlendirmesine olanak tanır. Bazı çalışmalar, derin öğrenmeye dayalı tıbbi görüntü analizlerinde kullanılan görsel açıklama yöntemlerinin klinisyen güvenini artırabildiğini; ancak bu açıklamaların patolojik gerekçelerden ziyade modele özgü artefaktları yansıtabilme riski nedeniyle dikkatli yorumlanması gerektiğini vurgulamaktadır^5.

Açıklanabilir yapay zekânın klinik değerini gösteren en somut örnekler, tıbbi görüntüleme ve klinik karar destek sistemlerinden gelmektedir. Örnek çalışmalar, XAI yaklaşımlarının klinik değerinin özellikle tıbbi görüntüleme alanında daha net biçimde ortaya konabildiğini göstermektedir. Göğüs grafileri, beyin manyetik rezonans görüntüleri ve dermatolojik görüntüler üzerinde geliştirilen XAI destekli derin öğrenme modelleri, yalnızca bir tanı ya da sınıflandırma sonucu üretmekle kalmamakta; aynı zamanda bu sonucun görüntünün hangi anatomik veya patolojik bölgelerine dayanarak verildiğini görsel açıklamalar aracılığıyla ortaya koymaktadır. Bu bağlamda, Grad-CAM türevleri kullanılarak yapılan deneysel çalışmalar, bazı XAI yöntemlerinin lezyonla uyumlu bölgeleri tutarlı biçimde vurgulayabildiğini, buna karşılık bazı yöntemlerin ise klinik açıdan dağınık veya alakasız odaklanmalar üretebildiğini göstermiştir. Özellikle beyin tümörü ve göğüs grafisi verilerinde, belirli XAI tekniklerinin patolojik alanları daha doğru biçimde işaretleyebilmesi, bu yöntemlerin model davranışının değerlendirilmesinde ve olası hataların fark edilmesinde önemli bir araç olarak kullanılabileceğini ortaya koymaktadır^6.

Klinik karar destek sistemlerinde örnek-temelli (case-based) açıklamalar önemli bir yer tutmaktadır. Bu yaklaşımda, model çıktıları geçmişteki benzer hasta vakalarıyla birlikte sunularak kararın klinik bağlamda anlaşılması amaçlanır. Örnek-temelli açıklamalar, yapay zekâ sistemlerini bağımsız bir karar verici yerine klinisyenin karar sürecini destekleyen araçlar olarak konumlandırmakta ve kullanıcı güveninin kalibrasyonuna katkı sağlamaktadır^7.

1.3 Sınırlılıklar, Klinik Sorumluluk ve Gelecek Perspektifi

Açıklanabilir yapay zekâ (XAI), sağlıkta yapay zekânın güvenilir ve etik bir şekilde benimsenmesi için vazgeçilmez bir bileşen olarak görülse de, kendi başına bir çözüm olarak değerlendirilmemelidir. İlk olarak, XAI yöntemlerinin sınırlılıkları uygulamada belirginleşmektedir. Bir modelin kararını betimleyen açıklamalar, özellikle post-hoc yöntemlerle elde edilenler, her zaman modelin gerçek hesaplama süreçlerini veya klinik neden-sonuç ilişkilerini tam olarak yansıtmayabilir. Açıklanan sebepler, kullanıcıya sezgisel olarak anlamlı gelebilir ancak bu durum, açıklamanın modelin iç mantığını doğru olarak ortaya koyduğu anlamına gelmez. Bu nedenle açıklamaların sadece anlaşılır olması değil, aynı zamanda model ile sadakat (fidelity) ve tutarlılık (stability) gibi nitelikleri sağlaması gerektiği vurgulanmaktadır; aksi takdirde yanıltıcı bir güven algısı oluşturabilir^8. Klinik uygulamalarda açıklanabilirlik tartışması, modelin klinik açıdan geçerli biçimde “iyi çalıştığını” nasıl gösterdiğimizden bağımsız değildir. Bu nedenle, XAI içeren çalışmalarda model performansının (ayrım gücü, kalibrasyon, klinik fayda ve uygun doğrulama stratejileri) açık ve şeffaf biçimde raporlanması temel bir gereklilik olarak vurgulanmaktadır. Buna ek olarak, açıklamaların modele sadakati, tutarlılığı ve klinik kullanıcılar tarafından nasıl yorumlandığı gibi unsurların da ayrı bir değerlendirme düzeyi olarak ele alınması önerilmektedir. Güncel raporlama çerçeveleri, anlaşılır açıklamaların tek başına klinik güvenilirlik kanıtı olarak kabul edilemeyeceğini özellikle hatırlatmaktadır^9.

Literatürde vurgulanan önemli bir diğer sınırlılık, açıklamaların nedensellik ile sıklıkla karıştırılmasıdır. Birçok XAI yöntemi, modelin hangi girdilere duyarlı olduğunu gösterebilmekte; ancak bu girdilerin klinik sonuçlar üzerinde gerçekten nedensel bir etkisi olup olmadığına dair güvenilir bilgi sunamamaktadır. Özellikle görselleştirme temelli açıklamalar veya özellik katkı skorları, korelasyon temelli ilişkileri ön plana çıkarırken, altta yatan biyolojik veya klinik mekanizmaları açıklamakta yetersiz kalabilmektedir. Bu durum, açıklamaların klinik yorumlanmasında aşırı genellemelere ve yanlış çıkarımlara yol açabilmekte; dolayısıyla XAI çıktılarının klinik bilgi ve uzman değerlendirmesi olmaksızın kullanılması riskli hâle gelmektedir^10.

XAI’nin sınırlılığı yalnızca açıklama yönteminin kendisinden değil, açıklamanın nasıl sunulduğundan ve klinik iş akışına nasıl yerleştirildiğinden de kaynaklanır. Bu nedenle literatürde, tek bir nihai açıklama vermek yerine, klinisyeni düşünmeye zorlayan ve model önerisine otomatik uyumu azaltan etkileşim tasarımlarına yönelim vardır. Örneğin “yansıtıcı/eleştirel denetimi” güçlendirmeyi amaçlayan yaklaşımlar, klinisyenin sorumluluk ve muhakemesini koruyacak biçimde açıklamayı bir çıktı değil, etkileşim olarak ele almayı önermektedir.¹^1 Benzer şekilde, birbirine zıt/uyuşmayan gerekçeler sunan muhalif açıklamalar gibi yöntemlerin, kullanıcıların modele aşırı bağımlılığını azaltabildiği ve karar sürecinde daha aktif değerlendirmeyi tetikleyebildiği raporlanmıştır.¹^2

Açıklanabilir yapay zekâ, sağlık bilimlerinde yapay zekâ uygulamalarının güvenilir, etik ve klinik olarak sorumlu biçimde kullanılabilmesi için kritik bir tamamlayıcı unsur olarak öne çıkmaktadır. Bu bölümde ele alınan çalışmalar, açıklanabilirliğin klinisyen güveni, hasta güvenliği ve düzenleyici uyum açısından vazgeçilmez olduğunu; ancak tek başına yeterli bir güvence sunmadığını açıkça ortaya koymaktadır. Doğası gereği açıklanabilir modeller, karar mantığının doğrudan izlenebilmesine olanak tanıyarak klinik yorumlanabilirlik açısından önemli avantajlar sağlarken, post-hoc açıklama yöntemleri özellikle karmaşık modellerin karar süreçlerini görünür kılmada pratik çözümler sunmaktadır. Bununla birlikte, sonradan üretilen açıklamaların modele sadakat, tutarlılık ve nedensel anlamlılık açısından sınırlılıklar barındırabildiği; bazı durumlarda yanıltıcı bir güven duygusu yaratabildiği de literatür tarafından güçlü biçimde vurgulanmaktadır.

Açıklanabilirlik, sağlıkta YZ sistemlerinin güvenilir ve etik bir biçimde kullanılmasını destekleyen önemli bir ilke olsa da, tek başına algoritmik adalet veya eşitlik garantisi sağlamaz. Sağlık uygulamalarında veri ve algoritmalar, belirli hasta gruplarını yeterince temsil etmeyen eğitim verileri veya yapısal eşitsizlikleri yansıtan örüntüler nedeniyle sistematik yanlılıklara (bias) yol açabilir. Bu tür önyargılar, tanı doğruluğu, risk tahmini veya tedavi önerilerinde belirli demografik gruplar için daha kötü performansla sonuçlanabilir ve klinik eşitsizlikleri derinleştirebilir. Bu bağlamda açıklanabilirlik yöntemleri, model çıktısının hangi girdilere dayandığını görünür kılarak, olası adalet sorunlarının tespit edilmesine yardımcı olabilir; ancak açıklama tek başına bu sorunları ortadan kaldırmaz. Bir derlemede, yapay zekâ uygulamalarında veri ve algoritmik önyargıların farklı demografik gruplarda sağlık hizmeti sonuçlarını olumsuz yönde etkileyebileceğini vurgulamakta; bu risklerin azaltılması için temsiliyeti yüksek veri setleri, adalet odaklı algoritmalar ve uygun düzenleyici çerçevelere ihtiyaç duyulduğunu belirtmektedir.^13 Bu nedenle açıklanabilirlik, adalet ve güvenlik ilkeleri, model geliştirme sürecinin her aşamasında birlikte ele alınmalı; performans metriklerinin yanı sıra alt grup performansı ve eşitlik göstergeleri de sistematik olarak izlenmelidir.

Bununla birlikte, açıklanabilir yapay zekâ yaklaşımlarının klinik ortamlarda uygulanabilirliği, yalnızca yöntemsel doğruluk veya etik gerekçelerle değil; aynı zamanda teknik karmaşıklık, entegrasyon gereksinimleri ve insan kaynağı ihtiyacıyla da sınırlanmaktadır. Açıklamaların üretilmesi ve klinik bağlamda anlamlı biçimde sunulabilmesi, hem teknik uzmanlık hem de klinisyen eğitimi gerektirmekte; bu durum XAI tabanlı sistemlerin uygulanmasını zorlaştırabilmektedir^14. Ayrıca XAI’nin gerçek klinik ortama taşınması, yalnızca bir açıklama algoritması seçmekten ibaret değildir; ham veriyi modele uygun formata dönüştüren uçtan uca bir pipeline’ın kurulması, üretim ortamına entegrasyon, MLOps bileşenleri (sürümleme, loglama, izleme) ve sürekli performans gözetimi gerektirir. Klinik iş akışı ve veri yapısı zamanla değişebileceğinden (data drift, concept drift), model ve açıklama çıktılarının rutin izlenmesi ve gerektiğinde güncellenmesi zorunludur^15. Bu süreçler, güçlü BT altyapısı, yazılım mühendisliği desteği ve disiplinlerarası ekip koordinasyonu gerektirdiğinden ek operasyonel ve teknik yatırım ihtiyacı doğurabilir.

Bu bağlamda açıklanabilirlik, yalnızca “neden bu çıktı üretildi?” sorusuna verilen sezgisel yanıtlarla sınırlı kalmamalı; açıklamaların doğruluğu, klinik bağlamla uyumu ve karar kalitesi üzerindeki etkisi sistematik olarak değerlendirilmelidir. Özellikle yüksek riskli klinik uygulamalarda, açıklamaların klinisyenin muhakemesini destekleyen ve eleştirel değerlendirmeyi teşvik eden bir karar destek unsuru olarak tasarlanması; yapay zekâ sistemlerinin bağımsız karar vericiler yerine insan denetimi altında çalışan yardımcı araçlar olarak konumlandırılması büyük önem taşımaktadır. Açıklanabilirlik, etik sorumluluk, hasta güvenliği ve düzenleyici uyum ilkeleriyle birlikte ele alındığında anlam kazanan bütüncül bir süreçtir. Bu çerçevede XAI, yalnızca teknik bir özellik değil; klinik güvenin doğru kalibre edilmesini, hesap verebilirliği ve hasta odaklı yapay zekâ uygulamalarını destekleyen temel bir yapı taşı olarak değerlendirilmelidir.

Kaynakça

• [1]Hulsen, T. (2023). Explainable artificial intelligence (XAI): concepts and challenges in healthcare. Ai , 4 (3), 652-666.
• [2] Freyer N, Groß D, Lipprandt M. The ethical requirement of explainability for AI-DSS in healthcare: a systematic review of reasons. BMC Med Ethics. 2024;25:104. doi:10.1186/s12910-024-01103-2.
• [3]Elhazmi A, Al-Omari A, Sallam H, Mufti HN, Rabie AA, Alshahrani M, et al. Machine learning decision tree algorithm role for predicting mortality in critically ill adult COVID-19 patients admitted to the ICU. J Infect Public Health. 2022;15(7):826–834. doi:10.1016/j.jiph.2022.06.008.
• [4]Purwono P, Wulandari ANE, Nisa K. Explainable artificial intelligence (XAI) in medical imaging: techniques, applications, challenges, and future directions. Adv Mech Mechatron Syst. 2025;1(1):52–66. doi:10.53623/amms.v1i1.692.
• [5]Kose U, Sengoz N, Chen X, Marmolejo-Saucedo JA, editors. Explainable artificial intelligence (XAI) in healthcare. 1st ed. Boca Raton (FL): CRC Press; 2024. doi:10.1201/9781003426073.
• [6]Chaddad A, Hu Y, Wu Y, Wen B, Kateb R. Generalizable and explainable deep learning for medical image computing: an overview. Curr Opin Biomed Eng. 2025;33:100567. doi:10.1016/j.cobme.2024.100567.
• [7]Salimparsa M, Sedig K, Lizotte DJ, Abdullah SS, Chalabianloo N, Muanda FT. Explainable AI for clinical decision support systems: Literature review, key gaps, and research synthesis. Informatics. 2025;12(4):119. doi:10.3390/informatics12040119
• [8]Slack D, Hilgard S, Jia E, Singh S, Lakkaraju H. Fooling LIME and SHAP: Adversarial attacks on post hoc explanation methods. In: Proceedings of the AAAI/ACM Conference on AI, Ethics, and Society (AIES ’20) ; 2020 Feb 7–8; New York, NY, USA. New York: Association for Computing Machinery; 2020. p. 180–186. doi:10.1145/3375627.3375830.
• [9]Collins GS, Moons KGM, Dhiman P, et al. TRIPOD+AI: updated reporting guideline for studies developing or validating prediction models using artificial intelligence. BMJ. 2024;385:e078378. doi:10.1136/bmj-2023-078378.
• [10]Pearl J, Mackenzie D. The book of why: the new science of cause and effect. New York: Basic Books; 2018.
• [11]Fregosi C. How to explain in XAI? Investigating explanation protocols in decision support systems. In: Proceedings of the 3rd World Conference on Explainable Artificial Intelligence Workshops. CEUR Workshop Proceedings; 2025. Vol 4017.
• [12]Reingold O, Shen JH, Talati A. Dissenting explanations: Leveraging disagreement to reduce model overreliance. Proc AAAI Conf Artif Intell. 2024;38:21537–21544.
• [13]Chinta SV, Wang Z, Palikhe A, Zhang X, Kashif A, Smith MA, et al. AI-driven healthcare: A review on ensuring fairness and mitigating bias. PLOS Digit Health. 2025;4(5):e0000864. doi:10.1371/journal.pdig.0000864.
• [14]Amann J, Blasimme A, Vayena E, Frey D, Madai VI; Precise4Q consortium. Explainability for artificial intelligence in healthcare: a multidisciplinary perspective. BMC Med Inform Decis Mak. 2020;20:310. doi:10.1186/s12911-020-01332-6.
• [15]Spies NC, Farnsworth CW, Wheeler S, McCudden CR. Validating, implementing, and monitoring machine learning solutions in the clinical laboratory safely and effectively. Clin Chem. 2024;70(11):1334-1343. doi:10.1093/clinchem/hvae126.