Klinik Validasyon ve Kanıt

1. Giriş

Sağlıkta yapay zekâ uygulamaları, son on yıl içerisinde deneysel araştırma alanından klinik pratiğe doğru hızlı bir dönüşüm yaşamıştır. Derin öğrenme temelli görüntü analiz algoritmaları dermatolojide cilt kanseri sınıflandırmasında (Esteva ve ark., 2017), diyabetik retinopati taramasında (Gulshan ve ark., 2016) ve çeşitli görüntüleme alanlarında uzman performansına yakın ya da bazı durumlarda eşdeğer sonuçlar göstermiştir. Benzer şekilde, sağlık profesyonelleriyle karşılaştırmalı çalışmaların sistematik derlemeleri, birçok alanda algoritmaların ayırt edici performansının yüksek olduğunu bildirmiştir (Liu ve ark., 2019).

Bununla birlikte, bu bulguların önemli bir kısmı kontrollü veri kümelerinde üretilmiştir; performans değerlendirmesi ise çoğunlukla iç doğrulama yaklaşımları veya sınırlı dış test setleriyle yapılmıştır. Klinik ortam, araştırma koşullarından yalnızca “daha karmaşık” olduğu için değil; veri üretim süreçleri, hasta spektrumu, prevalans, cihaz ve protokol farklılıkları ile iş akışı dinamikleri bakımından niteliksel olarak farklılaştığı için, laboratuvar koşullarında elde edilen teknik başarı doğrudan klinik güvene tercüme edilemez. Bu nedenle klinik kabul, yalnızca “model iyi çalışıyor mu?” sorusunu değil, modelin nerede, kimde, hangi koşullarda ve hangi sonuçla çalıştığını aydınlatan daha geniş bir kanıt çerçevesini gerektirir.

Bu çerçevede klinik güven, en az üç temel soruyla sınanır: (i) Model farklı merkezlerde ve farklı popülasyonlarda tutarlı performans gösterebiliyor mu? (ii) Ürettiği olasılık ve risk tahminleri klinik karar bağlamında güvenilir ve kalibre mi? (iii) Modelin kullanımı, klinik süreçleri veya hasta sonuçlarını anlamlı biçimde iyileştiriyor mu? Klinik validasyon, teknik doğruluk ile klinik fayda arasında yer alan bu kritik boşluğu kapatan, kanıt üretiminin metodolojik omurgasını oluşturur (Park ve ark., 2021).

Yapay zekâ literatüründe sıklıkla karşılaşılan sorunlardan biri, metodolojik şeffaflık ve raporlama kalitesindeki değişkenliktir. Klinik etki üretmenin, teknik performans göstermenin ötesinde zorluklar içerdiği; veri temsiliyeti, yanlılık kaynakları ve klinik iş akışına entegrasyon gibi unsurların belirleyici olduğu vurgulanmaktadır (Kelly ve ark., 2019). Ayrıca sistematik incelemeler, tıbbi yapay zekâ çalışmalarının önemli bir bölümünde yanlılık riskinin yüksek olabildiğini ve bulguların klinik genellenebilirlik açısından dikkatle değerlendirilmesi gerektiğini göstermektedir (Nagendran ve ark., 2020).

Bu bağlamda klinik validasyon çalışmalarında özellikle şu eksiklikler öne çıkmaktadır: kalibrasyon analizlerinin ihmal edilmesi; bağımsız dış validasyonun yapılmaması veya yetersiz raporlanması; örneklem büyüklüğü planlamasının bulunmaması; klinik popülasyonu temsil etmeyen tasarımların (ör. seçilmiş örneklemler) tercih edilmesi; belirsizliğin güven aralıklarıyla sunulmaması. Bu eksiklikler, modelin gerçek klinik bağlamda güvenilirliğini ve uygulanabilirliğini değerlendirmeyi güçleştirir.

Bu metodolojik sınırlılıklar ve raporlama sorunları yalnızca uluslararası literatüre özgü değildir; sağlık sistemlerinin kendi kurumsal ve politika bağlamları içinde de benzer değerlendirme boşlukları ortaya çıkabilmektedir. Türkiye’de sağlık hizmetlerinde yapay zekâ uygulamalarına yönelik akademik ve kurumsal ilgi son yıllarda artış göstermekte; dijital sağlık ekosisteminin stratejik konumuna ilişkin değerlendirmeler hem ulusal hem de küresel ölçekte bu dönüşümün yapısal önemini vurgulamaktadır (Tarcan, 2024). Bununla birlikte, klinisyenlerin YZ teknolojilerine yönelik bilgi düzeyi ve eğitim gereksinimlerine odaklanan çalışmalar, bu sistemlerin klinik ortama entegrasyonunda insan faktörünün belirleyici rolünü ortaya koymaktadır (Ataliç, 2025). Politika düzeyinde yapılan nitel analizler ise Türkiye’de dijital dönüşümün ulusal planlarda güçlü biçimde yer almakla birlikte, yapay zekâ uygulamalarına yönelik stratejik vurgu ve planlar arası bütünlüğün sınırlı olduğunu göstermektedir (Kocaman, 2025). Öte yandan sağlık veri araştırmaları ve yapay zekâ uygulamalarına yönelik kurumsal yapıların oluşturulması, araştırma ve geliştirme faaliyetlerinin daha sistematik bir çerçevede yürütülmesini desteklemektedir (TÜYZE, 2019). Bu tablo, klinik validasyonun yalnızca teknik veya metodolojik bir gereklilik olmadığını; aynı zamanda sağlık sistemi düzeyinde yönetişim, düzenleyici uyum ve kanıt üretim kapasitesi açısından yapısal bir zorunluluk haline geldiğini göstermektedir.

Bu bölüm, klinik validasyonu tanısal test metodolojisi ve kanıta dayalı tıp ilkeleri çerçevesinde ele alarak, bir yapay zekâ sisteminin klinik olarak güvenilir kabul edilebilmesi için gerekli kanıt basamaklarını sistematik biçimde ortaya koymayı amaçlamaktadır. Bölüm boyunca; teknik performans ile klinik fayda arasındaki ayrımın kavramsal temeli, modelin teknik yapısının validasyonla ilişkisi, performans ölçütlerinin klinik yorumla birlikte değerlendirilmesi, iç ve dış validasyon stratejileri, genellenebilirliği tehdit eden yanlılıklar ve zaman içinde performansı etkileyen dağılım değişiklikleri tartışılacaktır. Son olarak, klinik faydanın hangi çalışma tasarımlarıyla ve hangi raporlama standartları altında kanıt düzeyine taşınabileceği ele alınacaktır.

2. Klinik Validasyonun Kavramsal Çerçevesi: Teknik Performanstan Klinik Faydaya

Klinik validasyon sürecini doğru konumlandırabilmek için öncelikle teknik doğruluk ile hasta yararı arasındaki kavramsal ayrımı netleştirmek gerekir. Tanısal test literatüründe analitik geçerlilik, klinik geçerlilik ve klinik yarar arasında yapılan ayrım (Fryback & Thornbury, 1991), yapay zekâ temelli klinik modeller için de uyarlanabilir. Bu çerçeve, modelin yalnızca istatistiksel başarısını değil, klinik bağlamdaki anlamını ve sonuçlarını da değerlendirmeye imkân verir.

2.1 Teknik Performans (Analitik Doğruluk)

Teknik performans, modelin belirli bir veri kümesinde hedef çıktıyı doğru sınıflandırma veya tahmin etme kapasitesini ifade eder. Bu düzey genellikle ROC eğrisi, AUC, duyarlılık ve özgüllük gibi ayırt edici performans ölçütleriyle değerlendirilir. Bu metrikler, modelin hasta ve sağlıklı bireyleri ne ölçüde ayırt edebildiğini gösterir; başka bir deyişle discrimination düzeyini özetler.

Ancak teknik performans ölçütleri, modelin klinik karar süreçlerinde nasıl kullanılacağına veya hasta sonuçlarını nasıl etkileyeceğine dair doğrudan bilgi sağlamaz. Yüksek AUC değeri, modelin sıralama yeteneğinin iyi olduğunu gösterir; fakat hangi eşikte karar verileceği, bu kararın klinik sonuçlara nasıl yansıyacağı ve risk tahminlerinin güvenilirliği ayrı değerlendirilmelidir. Bu nedenle teknik doğruluk, klinik geçerliliğin yalnızca ilk basamağıdır.

2.2 Klinik Performans

Klinik performans, modelin gerçek klinik popülasyonda ve doğal prevalans koşullarında gösterdiği doğruluğu ifade eder (Park & Han, 2018). Bu düzey, modelin yalnızca “ayırt edici” değil, klinik bağlamda uygulanabilir olup olmadığını sorgular. Gerçek klinik ortamda hasta spektrumu heterojendir; eşlik eden hastalıklar, demografik dağılım ve tanısal belirsizlikler modele ek varyasyon getirir.

Tanısal kohort tasarımları, ardışık başvuran hastaların dahil edilmesi sayesinde gerçek prevalans yapısını korur ve klinik performansın değerlendirilmesi için daha uygundur (Park, 2019). Buna karşılık vaka-kontrol tasarımlarında prevalans yapay olarak belirlendiği için özellikle prediktif değerlerin yorumlanması klinik gerçekliği yansıtmaz. Bu durum, modelin klinik performansının olduğundan daha iyi veya daha kötü görünmesine neden olabilir.

2.3 Klinik Fayda

Klinik fayda, model kullanımının hasta sonuçlarında ölçülebilir iyileşme sağlamasıdır. Bu düzeyde artık yalnızca doğru sınıflandırma değil, kararın sonuç üzerindeki etkisi sorgulanır. Mortalite, morbidite, komplikasyon oranı, gereksiz girişimlerin azaltılması, tanı süresinin kısalması veya maliyet etkinliği gibi çıktılar değerlendirilir.

Bu aşamada soru değişir: “Model doğru mu?” yerine “Model kullanıldığında ne değişiyor?” sorusu sorulur. Bir model yüksek riskli hastaları doğru sınıflandırıyor olabilir; ancak bu sınıflandırma klinik kararı değiştirmiyor ya da değişen karar hasta sonuçlarını iyileştirmiyorsa, klinik faydadan söz edilemez. Bu nedenle randomize kontrollü çalışmalar, klinik faydanın değerlendirilmesinde en güçlü kanıt düzeyini sağlar (Liu ve ark., 2020).

Bu bağlamda, çok merkezli ve randomize kontrollü bir tasarıma sahip olan INFANT çalışması, teknik olarak doğru çalışan bir bilgisayar destekli fetal izlem sisteminin perinatal sonuçları iyileştirmediğini göstermiştir (Brocklehurst ve ark., 2017). Bununla birlikte klinik faydanın değerlendirilmesi yalnızca klasik randomize kontrollü çalışmalar ile sınırlı değildir. Yapay zekâ destekli karar destek sistemleri çoğu zaman klinik iş akışının bir parçası olarak uygulanır; bu nedenle değerlendirme tasarımı algoritmanın konumlandırıldığı bağlama uygun olmalıdır. Pragmatik randomize kontrollü çalışmalar, algoritmanın gerçek yaşam koşullarında ve rutin klinik süreç içinde değerlendirilmesini sağlar; açıklayıcı (explanatory) tasarımlar daha kontrollü koşullarda etkiyi ölçerken, pragmatik yaklaşımlar gerçek dünya performansını ortaya koyar (Loudon ve ark., 2015). Özellikle hastane veya klinik düzeyinde uygulanan karar destek sistemlerinde küme (cluster) randomizasyonu metodolojik olarak daha uygun olabilir; çünkü müdahale çoğu zaman bireysel hastaya değil, klinik birime entegre edilir (Campbell ve ark., 2012). Benzer biçimde stepped-wedge tasarımlar, algoritmanın aşamalı olarak farklı merkezlerde devreye alınmasına olanak tanır ve zaman içindeki değişimleri kontrol etmeye yardımcı olur (Hemming ve ark., 2015). Ayrıca uygulama bilimleri perspektifi, klinik faydanın yalnızca sonuç ölçütleriyle değil; kabul edilebilirlik, kullanım sıklığı ve iş akışına entegrasyon gibi süreç göstergeleriyle birlikte değerlendirilmesi gerektiğini vurgulamaktadır (Peters ve ark., 2013).

2.4 Validasyon Kavramının İki Anlamı ve Kanıt Yanılgısı

Yapay zekâ literatüründe “validation” teriminin iki farklı anlamda kullanılması kavramsal karışıklığa yol açmaktadır. Makine öğrenmesi bağlamında validation, model geliştirme sürecinde hiperparametre ayarlama amacıyla kullanılan veri alt kümesini ifade eder. Bu aşama tuning sürecinin bir parçasıdır ve model seçimine hizmet eder.

Klinik araştırma bağlamında ise validasyon, geliştirilen modelin bağımsız veri üzerinde test edilmesi ve genellenebilirliğinin değerlendirilmesi anlamına gelir (Kim, 2020). Bu iki kullanımın karıştırılması, klinik kanıt düzeyinin olduğundan yüksek algılanmasına yol açabilir. Bir çalışmada “validation set” kullanılmış olması, modelin klinik olarak doğrulandığı anlamına gelmez; yalnızca geliştirme sürecinin teknik bir adımının tamamlandığını gösterir.

Gerçek bir klinik validasyon süreci basamaklıdır:

• Geliştirme aşamasında uygun iç doğrulama (ör. bootstrap, k-fold)
• Bağımsız veri setlerinde dış doğrulama
• Gerektiğinde prospektif klinik değerlendirme
• Hasta sonuçlarını inceleyen klinik etki çalışmaları

Bu basamaklı yapı, teknik doğruluktan klinik faydaya uzanan kanıt zincirini oluşturur.

2.5 Tanısal Test Paradigması ve Raporlama Standartları

Yapay zekâ modelleri, klinik uygulamada yeni bir tanısal test gibi değerlendirilmelidir. Tanısal doğruluk çalışmalarında kullanılan metodolojik ilkeler bu nedenle YZ çalışmalarına da uygulanmalıdır.

STARD 2015 (Standards for Reporting Diagnostic Accuracy Studies) kılavuzu, tanısal doğruluk araştırmalarında raporlanması gereken temel unsurları tanımlar (Bossuyt ve ark., 2015). Bunlar arasında hasta seçiminin açık biçimde tanımlanması, referans standardın net olarak belirtilmesi, test uygulama sırası ve körleme prosedürlerinin açıklanması ve prevalansın raporlanması yer alır.

Prediktif modeller açısından ise TRIPOD ve güncel TRIPOD-AI uzantıları, model geliştirme ve validasyon süreçlerinin şeffaf raporlanmasını zorunlu kılar (Collins ve ark., 2015). Klinik etki çalışmalarında ise CONSORT-AI ve SPIRIT-AI rehberleri, müdahale tasarımlarında yapay zekâ bileşeninin açık biçimde tanımlanmasını önerir (Liu ve ark., 2020).

Bu raporlama standartları, klinik validasyonun yalnızca teknik bir süreç değil; kanıt üretimine dayalı, sistematik ve şeffaf bir araştırma alanı olduğunu gösterir.

3. Modelin Temel Mantığı ve Teknik Yapı: Klinik Validasyonla Yapısal İlişki

Bu bölümde “model” kavramı, sağlık alanında kullanılan makine öğrenmesi ve özellikle derin öğrenme temelli yapay zekâ sistemlerini ifade etmektedir. Bu sistemler, klasik istatistiksel modellerden farklı olarak, veriden örüntü öğrenerek çok sayıda parametreyi optimize eder ve çoğu zaman doğrusal olmayan karar yüzeyleri üretir. Parametre sayısının fazlalığı, veri bağımlılığının yüksekliği ve sıklıkla “kara kutu” olarak nitelendirilen iç yapıları nedeniyle bu modeller, klinik validasyon açısından özgün metodolojik zorluklar barındırır.

Dolayısıyla klinik validasyon, modelden bağımsız bir performans testi değildir. Modelin teknik mimarisi; hata türlerini, aşırı uyum riskini, kalibrasyon gereksinimini ve genellenebilirlik profilini doğrudan etkiler. Bu nedenle teknik yapı ile validasyon stratejisi birlikte değerlendirilmelidir.

3.1 Derin Öğrenme Modelleri ve Parametrik Karmaşıklık

Sağlıkta en yaygın kullanılan yapay zekâ mimarileri derin öğrenme temellidir. Convolutional Neural Networks (CNN) radyoloji, dermatoloji ve patoloji gibi görüntü yoğun alanlarda yaygın olarak kullanılmaktadır. ResNet gibi residual ağ yapıları, derin katmanların eğitilebilmesini mümkün kılmıştır (He ve ark., 2016). Bu mimariler karmaşık uzamsal örüntüleri öğrenebilme kapasitesine sahiptir.

Ancak parametrik karmaşıklık arttıkça aşırı uyum (overfitting) riski de artar. Özellikle örneklem büyüklüğünün sınırlı olduğu veya veri heterojenliğinin düşük olduğu durumlarda model, gerçek patofizyolojik sinyaller yerine veri setine özgü artefaktları öğrenebilir. Zech ve ark. (2018), pnömoni tanısında geliştirilen bir modelin hastane özgü görüntü özelliklerini öğrendiğini göstermiştir. Bu bulgu, teknik olarak yüksek performansın her zaman gerçek klinik genellenebilirliğe karşılık gelmediğini ortaya koymaktadır.

Bu nedenle derin mimarilerde dış validasyon yalnızca önerilen değil, metodolojik olarak zorunlu bir adımdır.

3.2 Segmentasyon Modelleri ve Referans Standard Bağımlılığı

Segmentasyon temelli mimariler (örneğin U-Net; Ronneberger ve ark., 2015), piksel düzeyinde karar üretir. Bu tür modellerin performansı, referans etiketlemelerinin kalitesine doğrudan bağlıdır. Eğer uzmanlar arasında düşük uyum varsa veya referans segmentasyon süreci standartlaştırılmamışsa, model performansı gerçekte olduğundan yüksek veya düşük tahmin edilebilir.

Bu nedenle klinik validasyon raporlarında:

• Referans etiketlemelerinin nasıl oluşturulduğu
• Uzmanlar arası uyum (inter-rater reliability)
• Körleme prosedürleri açık biçimde belirtilmelidir (Bossuyt ve ark., 2015).

Burada teknik yapı ile metodolojik kalite doğrudan kesişir: referans standardın güvenilirliği, model performansının güvenilirliğini belirler.

3.3 Zaman Serisi ve Metin Tabanlı Modeller

Elektronik sağlık kayıtları, klinik notlar ve yoğun bakım verileri gibi çok boyutlu zaman serisi verilerinde transformer tabanlı veya kendi kendine dikkat (attention) mekanizması kullanan modeller yaygınlaşmaktadır. Bu sistemler zamansal örüntüleri öğrenme kapasitesine sahiptir; ancak bu avantaj, veri sızıntısı (data leakage) riskini artırır.

Eğer geleceğe ait bilgi (örneğin taburculuk sonrası tanı kodu) eğitim sürecine istemeden dahil edilirse, model performansı olduğundan yüksek görünür. Bu durum klinik validasyonu ciddi biçimde zedeler.

Bu nedenle zaman bağımlı veri kullanılan çalışmalarda:

• Zamansal ayrım (temporal split)
• Eğitim ve test dönemlerinin açık tanımı
• Veri sızıntısına karşı kontrol mekanizmaları raporlanmalıdır.

Teknik mimari ne kadar karmaşıksa, validasyon stratejisinin de o ölçüde titiz olması gerekir.

3.4 Olasılıksal ve Deterministik Çıktı Üreten Modeller

Yapay zekâ modelleri çıktı biçimine göre de farklı validasyon gereksinimlerine sahiptir.

Olasılıksal çıktı üreten modeller, belirli bir olay için risk tahmini sunar. Bu durumda yalnızca ayırt edici performans değil, kalibrasyon da kritik hale gelir (Van Calster ve ark., 2019). Risk tahmininin klinik karar sürecine entegre edilebilmesi için tahmin edilen olasılıkların ampirik karşılığı bulunmalıdır.

Deterministik çıktı üreten modeller ise doğrudan “pozitif/negatif” karar üretir. Bu durumda eşik (threshold) seçimi modelin performansını ve klinik etkisini belirleyen temel parametredir. Aynı model farklı eşiklerde farklı duyarlılık-özgüllük dengesi üretebilir. Bu nedenle eşik seçimi teknik değil, klinik bir tercihtir ve hastalığın ciddiyeti ile müdahalenin risk profili dikkate alınmalıdır.

3.5 Adaptif Modeller ve Yaşam Döngüsü Perspektifi

Klasik istatistiksel modeller genellikle sabit parametrelerle çalışırken, bazı yapay zekâ sistemleri zaman içinde yeni veri ile güncellenebilir. Bu tür adaptif (learning) sistemlerde model versiyonları değiştikçe performans profili de değişebilir.

Bu nedenle klinik validasyon tek seferlik bir onay süreci değildir. Adaptif sistemlerde:

• Her versiyon değişikliğinde performansın yeniden değerlendirilmesi
• Veri dağılımı kaymasının izlenmesi
• Kalibrasyonun periyodik kontrolü gereklidir. Bu yaklaşım, klinik validasyonu statik bir doğrulama adımı olmaktan çıkarıp, yaşam döngüsü boyunca süren dinamik bir kalite güvencesi süreci hâline getirir.

4. Performans Ölçütleri ve Metodolojik Değerlendirme

Bir yapay zekâ modelinin klinik validasyonu, performansın yalnızca “yüksek” ya da “düşük” olarak tanımlanmasından ibaret değildir. Performansın hangi boyutta ölçüldüğü, belirsizliğinin ne olduğu ve klinik bağlamda nasıl yorumlandığı belirleyicidir. Klinik validasyon bağlamında performans değerlendirmesi üç temel boyutta ele alınmalıdır:

• Ayırt edici performans (discrimination)
• Kalibrasyon
• Klinik karar bağlamında fayda Bu üç boyut birlikte ele alınmadığında, modelin klinik değeri eksik ya da yanıltıcı biçimde yorumlanabilir.

4.1 Ayırt Edici Performans (Discrimination)

Ayırt edici performans, modelin hastalığı olan bireyler ile olmayan bireyleri ayırt etme kapasitesini ifade eder. Bu kapasite, modelin sıralama doğruluğunu ölçer; başka bir deyişle, rastgele seçilmiş bir hasta ile sağlıklı birey karşılaştırıldığında modelin doğru sıralama yapma olasılığıdır.

4.1.1 ROC Eğrisi ve AUC

ROC (Receiver Operating Characteristic) eğrisi, değişen eşik değerleri için duyarlılık (True Positive Rate) ile 1-özgüllük (False Positive Rate) arasındaki ilişkiyi gösterir. Eğri altındaki alan (Area Under the ROC Curve, AUC), modelin genel ayırt ediciliğini özetleyen eşik-bağımsız bir ölçüttür.

AUC’nin avantajı, tek bir eşik değerine bağlı olmamasıdır. Ancak bu aynı zamanda sınırlılığıdır. AUC:

• Klinik karar eşiklerini içermez,
• Prevalanstan bağımsızdır,
• Farklı eşiklerdeki performansı tek sayıya indirger. Dolayısıyla klinik uygulamada yalnızca AUC raporlamak yeterli değildir. Belirli bir klinik eşikte duyarlılık ve özgüllük değerleri sunulmalı ve bu eşik seçiminin klinik gerekçesi açıklanmalıdır.

4.1.2 Prediktif Değerler ve Prevalans Etkisi

Pozitif prediktif değer (PPV) ve negatif prediktif değer (NPV), modelin klinik ortamda ne kadar güvenilir olduğunu yansıtır; ancak bu ölçütler doğrudan hastalık prevalansına bağlıdır. Aynı duyarlılık ve özgüllük değerine sahip bir model, farklı prevalans ortamlarında farklı PPV üretebilir.

Bu nedenle klinik validasyon çalışmalarında:

• Prevalans açık biçimde raporlanmalı,
• Prediktif değerler gerçek klinik dağılım altında hesaplanmalıdır. Vaka-kontrol tasarımlarında prevalans yapay olarak belirlendiğinden, PPV ve NPV klinik gerçekliği temsil etmez (Park & Han, 2021). Bu tür tasarımlarda bu ölçütlerin yorumlanması metodolojik açıdan sorunludur.

4.2 Kalibrasyon: Olasılık Tahminlerinin Güvenilirliği

Ayırt edici performans modelin “kim daha riskli?” sorusuna yanıt verirken, kalibrasyon “ne kadar riskli?” sorusunu yanıtlar. Olasılık çıktısı üreten yapay zekâ modellerinde kalibrasyon, klinik karar güvenilirliğinin temel belirleyicisidir (Van Calster ve ark., 2019).

Bir model %30 risk tahmini veriyorsa, benzer özelliklere sahip hastaların yaklaşık %30’unda olayın gerçekleşmesi beklenir. Tahmin edilen olasılık ile gözlenen oran arasındaki sistematik sapma, modelin riski aşırı ya da yetersiz tahmin ettiğini gösterir.

Kalibrasyon üç düzeyde değerlendirilmelidir:

4.2.1 (a) Kalibrasyon Grafiği

Tahmin edilen risk ile gözlenen olay oranı karşılaştırılır. Kalibrasyon grafiğinde yatay eksende modelin tahmin ettiği risk, dikey eksende ise gözlenen olay oranı yer alır. İdeal durumda tahmin edilen olasılıklar ile gözlenen oranlar eşit olmalı ve noktalar 45° referans doğrusu (y = x) üzerinde yer almalıdır. Eğrinin bu doğrudan sistematik sapması, modelin belirli risk aralıklarında yanlı tahmin ürettiğini gösterir. Grafiksel değerlendirme, hangi risk düzeylerinde bozulma olduğunu görmeye imkân tanır.

4.2.2 (b) Kalibrasyon Eğimi ve Kesişimi

Kalibrasyon eğimi (slope) ve kesişimi (intercept), kalibrasyonun parametrik özetini sağlar.

• Eğim<1: Model tahminleri aşırı uçlara yayılmıştır; sıklıkla aşırı uyum göstergesidir.
• Eğim>1: Tahminler yeterince ayrışmamıştır.
• Intercept ≠ 0: Model genel olarak riski sistematik biçimde yüksek ya da düşük tahmin etmektedir.

Klinik validasyon raporlarında bu ölçütlerin sunulması, yalnızca AUC’ye dayalı değerlendirmeden daha kapsamlı bir güvence sağlar.

4.2.3 (c) Brier Skoru

Brier skoru, tahmin edilen olasılık ile gözlenen sonuç arasındaki ortalama karesel farkı ölçer:

$Brier = \frac{1}{N} \sum (y_i - p_i)^2$

Burada 𝑦𝑖, gözlenen sonuç (0/1), 𝑝𝑖 tahmin edilen olasılıktır. Brier skoru hem discrimination hem kalibrasyon bileşenlerini içerir; ancak tek başına yorumlanmamalıdır. Özellikle nadir olaylarda düşük risk tahmini yapan modeller görece düşük Brier skoru üretebilir; fakat klinik olarak anlamlı ayırt edicilik göstermeyebilir.

Kalibrasyon bozulduğunda Platt ölçekleme veya izotonik regresyon ile yeniden kalibrasyon yapılabilir; ancak bu düzeltme, temel genellenebilirlik sorununu ortadan kaldırmaz.

TRIPOD ve TRIPOD-AI kılavuzları, prediktif modellerde kalibrasyon analizinin açık biçimde raporlanmasını özellikle vurgulamaktadır (Collins ve ark., 2015).

4.3 Eşik (Threshold) Seçimi ve Klinik Etki

Her klinik uygulamada karar belirli bir risk eşiğine dayanır. Bu eşik seçimi teknik değil, klinik bir tercihtir.

Örneğin, tarama programlarında yanlış negatif maliyeti yüksek olduğundan duyarlılık önceliklidir. İnvaziv girişim gerektiren durumlarda yanlış pozitif maliyeti yüksek olduğundan özgüllük öncelikli olabilir.

Bu nedenle eşik seçimi şu unsurlara dayanmalıdır:

• Hastalığın ciddiyeti
• Müdahalenin risk profili
• Sağlık sistemi kapasitesi
• Klinik kabul edilebilir hata düzeyi Model performansının yalnızca AUC ile raporlanması, eşik-temelli klinik kararın doğasını yansıtmaz.

4.4 Performans Belirsizliği ve Örneklem Büyüklüğü

Bir performans metriğinin nokta tahmini tek başına yeterli değildir. Güven aralığı, tahminin belirsizliğini gösterir. Bootstrap veya çapraz doğrulama yöntemleri ile performans dağılımı tahmin edilebilir (Efron & Tibshirani, 1993).

Makine öğrenmesi klinik validasyon çalışmalarında örneklem büyüklüğü planlaması giderek daha fazla önem kazanmaktadır. Goldenholz ve ark. (2023), performans metriklerinin belirli bir hassasiyetle tahmin edilebilmesi için gerekli örneklem büyüklüğünün önceden hesaplanması gerektiğini vurgulamaktadır.

Buradaki amaç klasik hipotez testi yapmak değil; AUC, duyarlılık veya kalibrasyon eğimi gibi metriklerin güven aralığını klinik olarak kabul edilebilir darlıkta tutmaktır. Yetersiz örneklem, performansın aşırı iyimser tahmin edilmesine yol açabilir.

4.5 Decision Curve Analysis ve Net Klinik Fayda

Decision Curve Analysis (DCA), modelin klinik karar bağlamındaki değerini ölçmek için geliştirilmiştir (Vickers & Elkin, 2006). Net fayda şu şekilde tanımlanır:

$Net \ Fayda = \frac{TP}{N} - \frac{FP}{N} \times \frac{p_t}{1 - p_t}$

Burada:

• TP = True Positive (doğru pozitif)
• FP = False Positive (yanlış pozitif)
• N = Toplam örneklem
• 𝑝𝑡 = Klinik karar eşiği (threshold probability)

ifade etmektedir. Bu formül, doğru pozitiflerin sağladığı klinik kazancı, belirlenen karar eşiğine bağlı olarak yanlış pozitiflerin maliyeti ile dengeler. Karar eşiği (𝑝𝑡), klinisyenin müdahale etmeye karar verdiği minimum risk düzeyini temsil eder. DCA, modeli “treat-all” ve “treat-none” stratejileriyle karşılaştırarak hangi eşik aralığında gerçek klinik avantaj sağladığını gösterir. Burada “treat-all” stratejisi tüm bireylere müdahale uygulanmasını, “treat-none” stratejisi ise hiçbir bireye müdahale uygulanmamasını temsil eder. Bu yaklaşım, modelin sağladığı net faydanın basit ve sezgisel klinik stratejilere göre üstünlüğünü ortaya koyar. Böylece DCA, ayırt edici performansın klinik sonuçla doğrudan eşleşmediği durumlarda karar temelli bir değerlendirme sunarak prediktif modellerin klinik validasyonunda tamamlayıcı bir araç olarak konumlanır.

5. İç ve Dış Validasyon: Genellenebilirliğin Sınanması

Bir yapay zekâ modelinin geliştirme veri setinde yüksek performans göstermesi, klinik olarak güvenilir olduğu anlamına gelmez. Klinik validasyonun temel amacı, modelin yalnızca eğitildiği veri içinde değil, bağımsız ve gerçekçi klinik ortamlarda da benzer performans gösterip göstermediğini test etmektir. Bu bağlamda iç ve dış validasyon ayrımı metodolojik olarak kritik önemdedir.

İç validasyon, model geliştirme sürecinde performansın aşırı iyimser tahmin edilmesini azaltmayı amaçlarken; dış validasyon, modelin genellenebilirliğini ve gerçek klinik sinyali öğrenip öğrenmediğini sınar.

5.1 İç Validasyon: Aşırı Uyumun Kontrolü

İç validasyon, modelin geliştirildiği veri kaynağı içinde performansının değerlendirilmesini ifade eder. Amaç, eğitim verisine özgü örüntülerin aşırı öğrenilmesi (overfitting) nedeniyle performansın olduğundan yüksek görünmesini önlemektir.

5.1.1 Split-Sample Yaklaşımı

Veri setinin eğitim ve test alt kümelerine ayrılması en basit yöntemdir. Ancak özellikle sınırlı örneklem büyüklüğünde bu yaklaşım verinin etkin kullanımını azaltır ve performans tahmininde yüksek varyansa yol açabilir. Bu nedenle tek başına önerilen bir yöntem değildir.

5.1.2 k-Fold Cross-Validation

Veri k parçaya bölünür; her iterasyonda bir parça test, kalan parçalar eğitim için kullanılır. Ortalama performans tahmini elde edilir. Bu yöntem split-sample’a göre daha verimli bir yaklaşım sunar; ancak veri kaynağı değişmediği için sistematik yanlılıkları ortadan kaldırmaz.

5.1.3 Bootstrap ve İyimserlik Düzeltmesi (Optimism Correction)

Model geliştirme sürecinde elde edilen performans ölçütleri genellikle “iyimser” bir tahmin içerir; çünkü model aynı veri üzerinde hem eğitilir hem de test edilir. Bootstrap yöntemi, veri setinden çok sayıda tekrar örnekleme yaparak model performansının örnekleme varyasyonunu tahmin etmeye olanak tanır (Efron & Tibshirani, 1993).

Her bootstrap örneğinde model yeniden eğitilir; performans hem bootstrap örneği hem de orijinal veri üzerinde hesaplanır. Bu iki performans arasındaki fark, iyimserlik (optimism) miktarını temsil eder. Bu değer, başlangıç performans tahmininden çıkarılarak daha gerçekçi bir düzeltilmiş performans elde edilir. TRIPOD rehberleri, prediktif modellerin geliştirilmesinde bootstrap temelli iyimserlik düzeltmesini önermektedir (Collins ve ark., 2015).

Ancak iç validasyon, modelin yalnızca aynı veri üretim sürecinin farklı alt örneklerinde test edilmesi anlamına gelir. Veri toplama sürecine özgü sistematik yanlılıklar bu aşamada korunur. Bu nedenle iç validasyon gerekli fakat yeterli değildir.

5.2 Dış Validasyon: Gerçek Genellenebilirlik Testi

Dış validasyon, modelin geliştirme veri setinden bağımsız bir veri üzerinde test edilmesini ifade eder. Bu veri,

• Farklı merkezlerden
• Farklı coğrafi bölgelerden
• Farklı zaman dilimlerinden
• Farklı hasta popülasyonlarından gelmelidir. Dış validasyonun amacı, modelin veri setine özgü artefaktları değil, gerçek klinik örüntüyü öğrenip öğrenmediğini sınamaktır. Eğer model yalnızca belirli bir merkeze özgü teknik sinyalleri öğrenmişse, performans dış ortamda belirgin biçimde düşer (Zech ve ark., 2018).

Genellenebilirlik, modelin farklı dağılımlarda kabul edilebilir performans düzeyini koruyabilmesi anlamına gelir. Performansın bir miktar düşmesi beklenebilir; ancak dramatik düşüşler, aşırı uyum veya veri temsiliyeti sorunlarına işaret eder.

5.3 Dış Validasyon Türleri

Dış validasyon tek tip değildir; farklı bağlamlarda yapılabilir:

• Coğrafi dış validasyon: Farklı merkezlerde test edilmesi
• Zamansal dış validasyon: Farklı zaman dönemlerinde test edilmesi
• Spektral dış validasyon: Farklı hasta profilleri veya hastalık spektrumlarında test edilmesi

Zamansal dış validasyon özellikle önemlidir; çünkü klinik uygulamalar, tanı kriterleri ve hasta profilleri zaman içinde değişebilir. Bu değişim, model performansını etkileyebilir.

5.4 Çalışma Tasarımı, Zamanlama ve Klinik Validasyonun Gücü

Bir yapay zekâ modelinin performansı, yalnızca algoritmik özelliklerinden değil; çalışmanın tasarımından ve veri toplama zamanlamasından da doğrudan etkilenir. Klinik validasyonun metodolojik gücü, kullanılan tasarımın temsiliyetine ve yanlılık riskine bağlıdır.

5.4.1 Vaka-Kontrol ve Kohort Tasarımları

Tanısal doğruluk çalışmalarında vaka-kontrol tasarımı sıkça kullanılmaktadır. Bu tasarımda hastalığı olan ve olmayan bireyler önceden seçilir ve prevalans yapay olarak belirlenir. Bu yaklaşım duyarlılık ve özgüllük tahmini için kullanılabilir; ancak prediktif değerler gerçek klinik ortamı yansıtmaz. Ayrıca spektrum yanlılığı riski yüksektir; çünkü hastalık şiddeti ve hasta profili gerçek klinik dağılımdan farklı olabilir (Rutjes ve ark., 2005).

Buna karşılık ardışık başvuran hastaların dahil edildiği kohort tasarımları gerçek klinik prevalansı ve hasta spektrumunu yansıtır. Bu nedenle prediktif değerler hesaplanabilir ve modelin klinik performansı daha güvenilir biçimde değerlendirilir (Park, 2019). Klinik validasyon açısından temsil edici kohort tasarımları tercih edilmelidir.

5.4.2 Prospektif ve Retrospektif Tasarımlar

Validasyon çalışmaları zamanlama açısından da ikiye ayrılır: retrospektif ve prospektif.

Retrospektif çalışmalar mevcut veri setleri üzerinden yürütülür ve daha hızlıdır; ancak seçim yanlılığı, eksik veri ve ölçüm tutarsızlığı gibi riskler taşır. Ayrıca veri toplama süreci model geliştirme aşamasından bağımsız olmadığı için bazı sistematik hatalar fark edilmeyebilir.

Prospektif çalışmalar ise veri toplama sürecinin baştan planlanmasına ve ölçüm protokollerinin standardize edilmesine olanak tanır. Bu nedenle metodolojik olarak daha güçlü kabul edilir. Özellikle klinik karar süreçlerini doğrudan etkileyen modellerde prospektif validasyon, modelin gerçek iş akışındaki etkisini değerlendirmek açısından kritik önemdedir.

CONSORT-AI ve SPIRIT-AI rehberleri, yapay zekâ destekli müdahalelerde tasarımın, randomizasyonun ve algoritmanın klinik süreçte nasıl konumlandığının açık biçimde raporlanmasını önermektedir (Liu ve ark., 2020).

6. Genellenebilirlik, Yanlılık ve Veri Kayması

İç ve dış validasyon model performansının farklı ortamlarda ölçülmesini sağlar; ancak performansın neden değiştiğini anlamak için genellenebilirliği etkileyen sistematik faktörlerin ayrıca incelenmesi gerekir. Genellenebilirlik yalnızca sayısal performansın korunması değil, modelin farklı klinik bağlamlarda güvenilir biçimde çalışabilmesidir.

6.1 Genellenebilirlik Nedir?

Genellenebilirlik (external validity), modelin eğitildiği veri dağılımı dışında da kabul edilebilir performans göstermesini ifade eder. Dış validasyon bu durumu test eder; ancak performans düşüşünün nedenleri çoğu zaman veri temsiliyeti, yanlılık veya dağılım değişiklikleriyle ilişkilidir.

Performansın bir miktar düşmesi beklenebilir; ancak dramatik düşüşler genellikle aşırı uyum, örneklem temsiliyet sorunu veya veri üretim sürecine özgü artefakt öğrenimi ile ilişkilidir.

6.2 Sistematik Yanlılık Kaynakları

Seçim Yanlılığı: Eğitim veri setinin hedef klinik popülasyonu temsil etmemesi durumudur. Örneğin yalnızca üçüncü basamak merkezlerden toplanan verilerle eğitilen bir model, birinci basamakta düşük performans gösterebilir.

Spektrum Yanlılığı: Hastalık şiddeti veya klinik özellik dağılımının gerçek popülasyonu yansıtmaması durumudur (Rutjes ve ark., 2005). Özellikle seçilmiş örneklemlerde model performansı olduğundan yüksek görünebilir.

Referans Standart Yanlılığı: Model performansı çoğunlukla bir referans standarda göre ölçülür. Ancak referans standardın kendisi hatalı veya tutarsız olabilir. Tanı kriterlerinin zaman içinde değişmesi veya uzmanlar arası görüş farklılıkları sistematik hataya yol açabilir (Adamson & Welch, 2019). STARD 2015, referans standardın açık biçimde tanımlanmasını ve körleme prosedürlerinin raporlanmasını önermektedir (Bossuyt ve ark., 2015).

6.3 Veri Dağılımı Kayması ve Kavram Kayması

Klinik ortam statik değildir. Hasta profili, prevalans, tanı kriterleri ve tedavi protokolleri zaman içinde değişebilir. Bu değişim model performansını etkileyebilir.

Veri dağılımı kayması (data drift): Girdi değişkenlerinin dağılımının zaman içinde değişmesidir. Kavram kayması (concept drift): Girdi ile çıktı arasındaki ilişkinin değişmesidir.

Örneğin pandemi döneminde hasta başvuru profillerindeki değişim birçok modelin performansında düşüşe yol açmıştır (Ghassemi ve ark., 2019). Bu tür değişimler, başlangıçta iyi performans gösteren bir modelin zamanla klinik güvenilirliğini kaybetmesine neden olabilir. Bu nedenle klinik validasyon tek seferlik bir doğrulama değildir; performansın sürekli izlenmesini gerektiren dinamik bir süreçtir.

6.4 Yaşam Döngüsü Perspektifi ve Sürekli İzleme

Regülasyon otoriteleri, özellikle adaptif yapay zekâ sistemlerinde performansın gerçek yaşam koşullarında izlenmesini önermektedir (FDA, 2022). Yaşam döngüsü yaklaşımı şu unsurları içerir:

• Periyodik performans değerlendirmesi
• Kalibrasyonun zaman içinde kontrolü
• Veri kayması analizleri
• Versiyon değişikliklerinin dokümantasyonu

Bu yaklaşım, klinik validasyonu statik bir “onay” aşaması olmaktan çıkararak sürekli kalite güvencesi sürecine dönüştürür. Bu sürekli izleme yaklaşımı, farklı sağlık sistemlerinde farklı altyapı ve düzenleyici koşullar altında uygulanmaktadır. Bu nedenle genellenebilirlik yalnızca metodolojik değil, aynı zamanda bağlamsal bir sorundur.

Türkiye bağlamında da sağlık hizmetlerinde dijital dönüşüm ve kalite yaklaşımı, Bakanlığın stratejik plan belgelerinde üst politika düzeyinde ele alınmakta; bu durum YZ sistemlerinin gerçek yaşam performansı izlemi, veri altyapısı ve yönetişim gereksinimlerinin kurumsal gündemde yer aldığını göstermektedir (Sağlık Bakanlığı, 2023).

Ayrıca Türkiye’de yazılım tabanlı tıbbi cihazların düzenleyici çerçevesi, bu sistemlerin yalnızca teknik performans doğruluğu ile değil; klinik değerlendirme, güvenlik ve piyasaya arz sonrası izleme yükümlülükleri ile birlikte ele alınmasını gerektirmektedir (Türkiye İlaç ve Tıbbi Cihaz Kurumu [TİTCK], 2021). Bu durum, yapay zekâ sistemlerinin klinik entegrasyonunun metodolojik ve düzenleyici boyutlarının birlikte değerlendirilmesi gerektiğini ortaya koymaktadır.

7. Genel Sonuç

Bu bölümde klinik validasyon, teknik performans göstergelerinin ötesinde, hasta yararına uzanan çok katmanlı bir kanıt süreci olarak ele alınmıştır. Yapay zekâ temelli modellerin klinik güvenilirliği, yalnızca ayırt edici performansın yüksek olmasıyla değil; kalibrasyonun uygunluğu, belirsizliğin şeffaf biçimde raporlanması, iç ve dış validasyonun titizlikle yürütülmesi ve genellenebilirliğin sistematik biçimde sınanması ile değerlendirilebilir.

Modelin teknik mimarisi, veri temsiliyeti, referans standardın niteliği ve çalışma tasarımı; performans ölçütlerinin yorumlanmasını doğrudan etkiler. Bu nedenle klinik validasyon, algoritmadan bağımsız bir istatistiksel test değil; teknik yapı, metodoloji ve klinik bağlamın birlikte değerlendirildiği bütüncül bir süreçtir.

Ayrıca klinik ortam statik değildir. Hasta profili, prevalans, tanı kriterleri ve sağlık sistemi dinamikleri zaman içinde değişebilir. Bu nedenle validasyon tek seferlik bir doğrulama adımı değil, yaşam döngüsü boyunca sürdürülen dinamik bir kalite güvencesi yaklaşımı olmalıdır. Gerçek yaşam performansının izlenmesi ve veri kayması analizleri, klinik güvenin korunmasında kritik rol oynar.

Sonuç olarak klinik validasyon, teknik doğruluk ile klinik fayda arasında yer alan metodolojik köprüdür. Yapay zekâ sistemlerinin klinik pratiğe güvenle entegre edilebilmesi için performansın yalnızca “yüksek” olması değil; güvenilir, genellenebilir ve klinik karar bağlamında anlamlı olması gerekir. Bu yaklaşım, yapay zekânın sağlıkta sürdürülebilir ve etik biçimde kullanılmasının temelini oluşturur.

Kaynakça

1. Adamson, A. S., & Welch, H. G. (2019). Machine learning and the cancer-diagnosis problem-No gold standard. New England Journal of Medicine, 381 (24), 2285-2287. https://doi.org/10.1056/NEJMp1907402
2. Ataliç, H. (2025). The integration barrier of artificial intelligence in clinical practice: assessing physicians’ educational needs regarding AI. European Journal of Social Sciences Studies, 11(5).
3. Brocklehurst, P., Field, D., Greene, K., Juszczak, E., Keith, R., Kenyon, S., Linsell, L., Mabey, C., Newburn, M., Plachcinski, R., Quigley, M., Schroeder, E., & Steer, P. (2017). Computerised interpretation of fetal heart rate during labour (INFANT): a randomised controlled trial. The Lancet , 389 (10080), 1719-1729. https://doi.org/10.1016/S0140-6736(17)30568-8
4. Bossuyt, P. M., Reitsma, J. B., Bruns, D. E., Gatsonis, C. A., Glasziou, P. P., Irwig, L., ... Kressel, H. Y. (2015). STARD 2015: An updated list of essential items for reporting diagnostic accuracy studies. BMJ, 351, h5527. https://doi.org/10.1136/bmj.h5527
5. Campbell, M. K., Piaggio, G., Elbourne, D. R., & Altman, D. G. (2012). CONSORT 2010 statement: Extension to cluster randomised trials. BMJ, 345, e5661. https://doi.org/10.1136/bmj.e5661
6. Collins, G. S., Reitsma, J. B., Altman, D. G., & Moons, K. G. M. (2015). Transparent reporting of a multivariable prediction model for individual prognosis or diagnosis (TRIPOD): The TRIPOD statement. Annals of Internal Medicine, 162 (1), 55-63. https://doi.org/10.7326/M14-0697
7. Efron, B., & Tibshirani, R. J. (1993). An introduction to the bootstrap. Chapman & Hall/CRC.
8. Esteva, A., Kuprel, B., Novoa, R. A., Ko, J., Swetter, S. M., Blau, H. M., & Thrun, S. (2017). Dermatologist-level classification of skin cancer with deep neural networks. Nature, 542 (7639), 115–118. https://doi.org/10.1038/nature21056
9. Food and Drug Administration (FDA). (2022). Measuring and evaluating artificial intelligence/machine learning (AI/ML)-based software as a medical device (SaMD) performance in the real world. U.S. Food and Drug Administration.
10. Fryback, D. G., & Thornbury, J. R. (1991). The efficacy of diagnostic imaging. Medical Decision Making, 11 (2), 88-94. https://doi.org/10.1177/0272989X9101100203
11. Ghassemi, M., Oakden-Rayner, L., & Beam, A. L. (2019). The false hope of current approaches to explainable artificial intelligence in health care. The Lancet Digital Health, 1 (8), e348-e350. https://doi.org/10.1016/S2589-7500(19)30120-3
12. Goldenholz, D. M., Sun, H., Ganglberger, W., & Westover, M. B. (2023). Sample size analysis for machine learning clinical validation studies. Biomedicines , 11 (3), 685.
13. Gulshan, V., Peng, L., Coram, M., Stumpe, M. C., Wu, D., Narayanaswamy, A., ... Webster, D. R. (2016). Development and validation of a deep learning algorithm for detection of diabetic retinopathy in retinal fundus photographs. JAMA, 316 (22), 2402– 2410. https://doi.org/10.1001/jama.2016.17216
14. He, K., Zhang, X., Ren, S., & Sun, J. (2016). Deep residual learning for image recognition. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (pp. 770–778). https://doi.org/10.1109/CVPR.2016.90
15. Hemming, K., Haines, T. P., Chilton, P. J., Girling, A. J., & Lilford, R. J. (2015). The stepped wedge cluster randomised trial: Rationale, design, analysis, and reporting. BMJ, 350, h391. https://doi.org/10.1136/bmj.h391
16. Kelly, C. J., Karthikesalingam, A., Suleyman, M., Corrado, G., & King, D. (2019). Key challenges for delivering clinical impact with artificial intelligence. BMC Medicine, 17 , 195. https://doi.org/10.1186/s12916-019-1426-2
17. Kim, D. W., Jang, H. Y., Ko, Y., Son, J. H., Kim, P. H., Kim, S. O., Lim, J. S., & Park, S. H. (2020). Inconsistency in the use of the term “validation” in studies reporting the performance of deep learning algorithms in providing diagnosis from medical imaging. Plos one , 15 (9), e0238908.
18. Kocaman, E. (2025). The place of digital transformation and artificial intelligence in Türkiye’s health policies: A qualitative evaluation. Health Sciences Quarterly , 5 (4), 461- 72.
19. Liu, X., Faes, L., Kale, A. U., Wagner, S. K., Fu, D. J., Bruynseels, A., Mahendiran T., Moraes G., Shamdas M., Kern C., Ledsam J. R., Schmid, M. K., Balaskas, K., Topol, E. J., Bachmann, L. M., & Denniston, A. K. (2019). A comparison of deep learning performance against health-care professionals in detecting diseases from medical imaging: A systematic review and meta-analysis. The Lancet Digital Health, 1 (6), e271-e297. https://doi.org/10.1016/S2589-7500(19)30123-9
20. Liu, X., Rivera, S. C., Moher, D., Calvert, M. J., Denniston, A. K., & SPIRIT-AI and CONSORT-AI Working Group. (2020). Reporting guidelines for clinical trial reports for interventions involving artificial intelligence: The CONSORT-AI extension. Nature Medicine, 26 , 1364-1374. https://doi.org/10.1038/s41591-020-1034-x
21. Loudon, K., Treweek, S., Sullivan, F., Donnan, P., Thorpe, K. E., & Zwarenstein, M. (2015). The PRECIS-2 tool: Designing trials that are fit for purpose. BMJ, 350 , h2147. https://doi.org/10.1136/bmj.h2147
22. Nagendran, M., Chen, Y., Lovejoy, C. A., Gordon, A. C., Komorowski, M., Harvey, H., Topol, E. J., Ioannidis, J. P. A., Collins, G. S., & Maruthappu, M. (2020). Artificial intelligence versus clinicians: systematic review of design, reporting standards, and claims of deep learning studies. BMJ , 368.
23. Park, S. H. (2019). Diagnostic case-control versus diagnostic cohort studies for clinical validation of artificial intelligence algorithm performance. Radiology, 290 (1), 272-273. https://doi.org/10.1148/radiol.2018181721
24. Park, S. H., & Han, K. (2018). Methodologic guide for evaluating clinical performance and effect of artificial intelligence technology for medical diagnosis and prediction. Radiology, 286 (3), 800-809. https://doi.org/10.1148/radiol.2017171920
25. Park, S. H., Choi, J., & Byeon, J. S. (2021). Key principles of clinical validation, device approval, and insurance coverage decisions of artificial intelligence. Korean journal of radiology , 22 (3), 442
26. Peters, D. H., Adam, T., Alonge, O., Agyepong, I. A., & Tran, N. (2013). Implementation research: What it is and how to do it. BMJ, 347 , f6753. https://doi.org/10.1136/bmj.f6753
27. Ronneberger, O., Fischer, P., & Brox, T. (2015). U-Net: Convolutional networks for biomedical image segmentation. In Medical Image Computing and Computer-Assisted Intervention (MICCAI) (pp. 234-241). Cham: Springer international publishing.
28. Rutjes, A. W. S., Reitsma, J. B., Di Nisio, M., Smidt, N., van Rijn, J. C., & Bossuyt, P. M. (2005). Evidence of bias and variation in diagnostic accuracy studies. CMAJ, 174 (4), 469-476. https://doi.org/10.1503/cmaj.050090
29. Tarcan, G. Y., Balçık, P. Y., & Sebik, N. B. (2024). Türkiye ve Dünyada sağlık hizmetlerinde yapay zekâ. Mersin Üniversitesi Tıp Fakültesi Lokman Hekim Tıp Tarihi ve Folklorik Tıp Dergisi , 14 (1), 50-60.
30. T.C. Sağlık Bakanlığı. (2023). 2024-2028 Stratejik Planı. https://dosyamerkez.saglik.gov.tr/Eklenti/47452/0/saglik-bakanligi-stratejik-plan-2024-2028pdf.pdf?_tag1=7B2A9834832BF7DCF36F2C7E5607D8543752A
31. Türkiye İlaç ve Tıbbi Cihaz Kurumu. (2021). Tıbbi cihaz yönetmeliği. Resmî Gazete (2 Haziran 2021, Sayı: 31499). https://www.mevzuat.gov.tr/mevzuat?MevzuatNo=38657&MevzuatTur=7&MevzuatTertip=5
32. Türkiye Sağlık Veri Araştırmaları ve Yapay Zekâ Uygulamaları Enstitüsü (TÜYZE). (2019). Kuruluş ve görev tanımı. TÜSEB. https://tuyze.tuseb.gov.tr/kurumsal/hakkimizda
33. Van Calster, B., McLernon, D. J., van Smeden, M., Wynants, L., & Steyerberg, E. W. (2019). Calibration: The Achilles heel of predictive analytics. BMC Medicine, 17 , 230. https://doi.org/10.1186/s12916-019-1466-7
34. Vickers, A. J., & Elkin, E. B. (2006). Decision curve analysis: A novel method for evaluating prediction models. Medical Decision Making, 26 (6), 565-574. https://doi.org/10.1177/0272989X06295361
35. Zech, J. R., Badgeley, M. A., Liu, M., Costa, A. B., Titano, J. J., & Oermann, E. K. (2018). Variable generalization performance of a deep learning model to detect pneumonia in chest radiographs: A cross-sectional study. PLOS Medicine, 15 (11), e1002683. https://doi.org/10.1371/journal.pmed.1002683