Model Performans Metrikleri

Giriş

Bu bölüm, yapay zekâ (YZ) modellerinin performansını değerlendirmede kullanılan ölçütleri sistematik biçimde ele almaktadır. Amaç metrikleri yalnızca tanımlamak değil; hangi metriklerin hangi problem türlerinde ve hangi karar bağlamlarında anlamlı biçimde yorumlanabileceğini açıklayan bütüncül bir değerlendirme çerçevesi ortaya koymayı hedeflemektedir. Özellikle sağlık gibi hata maliyetlerinin yüksek olduğu alanlarda model performansının değerlendirilmesi, tek bir özet ölçüye indirgenemeyecek kadar çok boyutludur.

Bu nedenle model performansı genellikle birden fazla performans ölçütü kullanılarak değerlendirilir. Farklı metrikler modelin farklı özelliklerini yansıtır; bazıları doğru sınıflandırma kapasitesini, bazıları tahmin hatasının büyüklüğünü, bazıları ise olasılık tahminlerinin güvenilirliğini değerlendirmeye yöneliktir. Bu nedenle performans ölçütlerinin seçimi ve yorumlanması, modelin ürettiği çıktının türüne ve çözmeye çalıştığı probleme bağlıdır.

Uygulamada güvenilir bir performans raporunun ikna edici olabilmesi için dört unsurun birlikte sunulması gerekir: (a) uygun bir doğrulama tasarımı (örneğin eğitim/doğrulama/test ayrımı veya iç içe geçmiş çapraz doğrulama yaklaşımları), (b) problem türüne uygun bir metrik seti, (c) performans tahminine ilişkin belirsizliği yansıtan güven aralıkları veya benzeri istatistiksel ölçüler ve (d) model çıktısının karar süreçlerine nasıl bağlandığını açıklayan açık bir eşik veya karar politikası tanımı. Bu unsurlar birlikte ele alındığında performans değerlendirmesi yalnızca istatistiksel bir rapor olmaktan çıkar ve modelin gerçek dünyadaki kullanım potansiyeline ilişkin daha güvenilir bir kanıt üretir.

1. Performans ölçümünde ilk adım: problem tipi ve çıktı türü

Model performansının değerlendirilmesinde ilk adım, ele alınan problem tipinin ve modelin ürettiği çıktı türünün açık biçimde tanımlanmasıdır. Aynı model ailesi farklı problem türlerinde kullanılabildiğinden, “başarı” kavramı da uygulama bağlamına göre değişir. Örneğin bir sınıflandırma modelinde amaç doğru sınıf etiketini tahmin etmek iken, bir regresyon modelinde hedef sürekli bir değişkenin değerini mümkün olduğunca düşük hata ile tahmin etmektir. Bu nedenle performans metriklerinin seçimi, öncelikle modelin hangi tür bir çıktıyı üretmek üzere tasarlandığının anlaşılmasına bağlıdır.

Makine öğrenmesi literatüründe yaygın olarak karşılaşılan problem türleri birkaç temel kategori altında toplanabilir. Sınıflandırma problemlerinde (classification problems) model çıktısı genellikle bir sınıf etiketi (örneğin 0/1 veya çok sınıflı bir kategori) ya da ilgili sınıfa ait olma olasılığını ifade eden bir skor biçimindedir. Regresyon problemlerinde (regression problems) model, sürekli bir sayısal değeri tahmin eder; bazı durumlarda bu tahmin yalnızca bir nokta tahmini değil, aynı zamanda bir dağılım veya tahmin aralığı şeklinde de ifade edilebilir.

Görüntü analizi alanındaki görevlerde modelin ürettiği çıktı çoğu zaman uzamsal bir yapı taşır. Görüntü segmentasyonu (image segmentation) problemlerinde model, piksel veya voxel düzeyinde bir sınıflandırma yaparak bir maske üretir. Nesne tespiti (object detection) görevlerinde ise model, görüntü içinde nesnenin konumunu gösteren bir sınırlayıcı kutu (bounding box), nesnenin sınıf etiketi ve buna ilişkin bir güven skoru tahmin eder. Buna karşılık doğal dil işleme (natural language processing, NLP) ve üretici yapay zekâ (generative AI) sistemlerinde model çıktısı metin biçimindedir. Bu tür sistemlerde performans değerlendirmesi yalnızca yüzeysel metin örtüşmesi ölçütleriyle sınırlı kalmaz; aynı zamanda anlamsal tutarlılık, olgusal doğruluk ve güvenlik gibi ek boyutların da dikkate alınmasını gerektirir.

Bununla birlikte sağlık alanındaki klinik karar destek uygulamalarında en sık karşılaşılan problem tipleri sınıflandırma ve sayısal risk tahmini problemleridir. Bu nedenle bu bölümde performans değerlendirmesi ağırlıklı olarak sınıflandırma ve regresyon problemlerine ilişkin ölçütler ile sınırlı tutulmuştur.

Bu bağlamda performans metriklerinin seçimi ve yorumlanması, modelin matematiksel yapısından bağımsız olarak, problemin türü ve model çıktısının doğası dikkate alınarak yapılmalıdır. Problem tipi doğru tanımlanmadığında kullanılan performans metrikleri yanıltıcı sonuçlar verebilir ve modelin gerçek kullanım bağlamındaki başarısı doğru biçimde değerlendirilemeyebilir.

Sağlık alanındaki yapay zekâ uygulamalarında performans metrikleri yalnızca teknik bir model değerlendirme aracı değildir; aynı zamanda klinik geçerliliğin (clinical validity) ve potansiyel klinik faydanın (clinical utility) değerlendirilmesi için gerekli metodolojik altyapıyı oluşturur. Bir modelin yüksek ayırt edicilik veya düşük hata oranı göstermesi, tek başına klinik kullanıma hazır olduğu anlamına gelmez. Bununla birlikte performans metrikleri, modelin farklı veri kümelerinde ne ölçüde güvenilir sonuçlar ürettiğini, tahmin olasılıklarının ne kadar iyi kalibre edildiğini ve belirli karar eşiklerinde klinik karar süreçlerine ne ölçüde katkı sağlayabileceğini değerlendirmede kritik rol oynar. Bu nedenle performans metriklerinin doğru seçimi ve doğru yorumlanması, daha geniş kapsamlı klinik validasyon çalışmalarının tasarımında da temel bir referans noktası oluşturur. Bir sonraki bölümde, farklı problem tipleri için kullanılan temel performans ölçütleri ve bu ölçütlerin nasıl yorumlanmasına ilişkin temel yaklaşımlar ele alınacaktır.

2. Model Performansının Güvenilir Biçimde Değerlendirilmesi

Bir yapay zekâ veya makine öğrenmesi modelinin performansını değerlendirmek için kullanılan metrikler, ancak uygun bir doğrulama tasarımı (validation design) ile birlikte uygulandığında anlamlı ve güvenilir sonuçlar üretir. Kullanılan metrik ne kadar uygun olursa olsun, eğer model performansı hatalı bir değerlendirme çerçevesi içinde hesaplanmışsa elde edilen sonuçlar yanıltıcı olabilir. Bu nedenle performans değerlendirmesinde ilk adım, modelin eğitim (training), doğrulama (validation) ve test (testing) aşamalarının birbirinden açık biçimde ayrıldığı bir veri bölme stratejisinin tanımlanmasıdır.

Makine öğrenmesi çalışmalarında en temel yaklaşım, veri setinin farklı alt kümelere ayrılmasıdır. Eğitim veri seti modelin parametrelerinin öğrenilmesi için kullanılırken, doğrulama veri seti genellikle model mimarisi veya hiperparametrelerin ayarlanmasında kullanılır. Nihai performans değerlendirmesi ise model geliştirme sürecine hiçbir şekilde dahil edilmemiş olan bağımsız bir test veri seti üzerinde yapılmalıdır. Bu ayrımın temel amacı, modelin daha önce görmediği veriler üzerinde nasıl performans göstereceğini tahmin etmektir.

Veri miktarının sınırlı olduğu durumlarda performans değerlendirmesi için sıklıkla çapraz doğrulama (cross-validation) yöntemleri kullanılır. Bu yaklaşımda veri seti genellikle eşit büyüklükte k alt kümeye bölünür ve model her iterasyonda bu kümelerden biri test veri seti olarak kullanılırken geri kalan kümeler eğitim amacıyla kullanılır. Bu işlem tüm alt kümeler test rolünü üstlenene kadar tekrarlanır ve elde edilen performans değerleri ortalanarak modelin genel performansı tahmin edilir. Model seçimi veya hiperparametre ayarının da aynı süreç içinde yapıldığı durumlarda performans tahmininin iyimserleşmesini önlemek amacıyla iç-içe çapraz doğrulama (nested cross-validation) kullanılabilir (Hastie vd., 2009). Bu yaklaşımda model seçimi ve performans tahmini farklı döngülerde gerçekleştirilir ve böylece değerlendirme yanlılığı azaltılır.

Performans değerlendirmesinde dikkat edilmesi gereken önemli bir diğer konu veri sızıntısıdır (data leakage). Veri sızıntısı, modelin eğitim aşamasında test verisine ait bilgiye doğrudan veya dolaylı biçimde erişmesi durumunda ortaya çıkar (Sasse vd., 2025). Özellikle klinik veri setlerinde bu durum çoğu zaman fark edilmeden gerçekleşebilir. Örneğin aynı hastaya ait birden fazla kayıt veya görüntünün eğitim ve test veri setlerinde birlikte bulunması, modelin aslında yeni bir örnek üzerinde değil, daha önce gördüğü bir hastaya ait bilgi üzerinden tahmin yapmasına yol açabilir. Benzer şekilde veri ön işleme adımlarının (örneğin ölçekleme veya özellik seçimi) tüm veri seti üzerinde yapılması da veri sızıntısına neden olabilir. Bu tür hatalar model performansının olduğundan daha yüksek görünmesine yol açtığından, değerlendirme sürecinde özellikle dikkatle kontrol edilmelidir.

Model performansının güvenilir biçimde raporlanabilmesi için yalnızca tek bir performans değeri vermek yeterli değildir. Performans tahmininin belirsizliğini (uncertainty) yansıtan ölçütlerin de sunulması gerekir. Bu amaçla güven aralıkları genellikle bootstrap yeniden örnekleme yöntemi veya tekrarlı çapraz doğrulama (repeated cross-validation) gibi yöntemlerle hesaplanabilir. Bootstrap yaklaşımında veri setinden tekrar tekrar örnekler çekilerek model performansı her bir örneklem üzerinde yeniden hesaplanır ve elde edilen dağılım üzerinden güven aralıkları elde edilir (Tibshirani ve Efron, 1993). Bu tür belirsizlik ölçümleri özellikle örneklem büyüklüğünün sınırlı olduğu veya sınıf dağılımının dengesiz olduğu çalışmalarda daha da önem kazanır.

Son olarak, model performansının güvenilir biçimde değerlendirilebilmesi için mümkün olduğunda dış doğrulama (external validation) yapılması önerilir. Dış doğrulama, modelin geliştirilmesinde kullanılmamış, farklı bir merkezden veya farklı bir zaman diliminden elde edilmiş bağımsız bir veri seti üzerinde test edilmesini ifade eder. Bu yaklaşım, modelin farklı popülasyonlarda ve gerçek klinik uygulama koşullarında ne ölçüde genellenebilir olduğunu değerlendirmeye yardımcı olur. Özellikle sağlık alanındaki yapay zekâ çalışmalarında, bir modelin gerçek klinik kullanım potansiyelini gösterebilmesi için dış doğrulama sonuçlarının raporlanması kritik öneme sahiptir.

Bu nedenle performans metriklerinin yorumlanması yalnızca metrik değerlerine bakılarak yapılmamalı; kullanılan doğrulama tasarımı, veri sızıntısı riskinin nasıl kontrol edildiği ve performans tahmininin belirsizliğinin nasıl raporlandığı birlikte değerlendirilmelidir.

Doğru doğrulama tasarımı ve veri sızıntısı kontrolü sağlandıktan sonra, model performansının değerlendirilmesinde kullanılan metriklerin seçimi ve yorumlanması gündeme gelir. Bir sonraki bölümde sınıflandırma problemlerinde yaygın olarak kullanılan temel performans metrikleri ele alınacaktır.

Şekil 1.a. Veri bölme ve model geliştirme

Şekil 1.b. Performans tahmini ve genellenebilirlik

3. Sınıflandırma Problemlerinde Performans Metrikleri

YZ uygulamalarının önemli bir bölümü sınıflandırma problemleri üzerine kuruludur. Klinik karar destek sistemleri, hastalık tanısı, risk sınıflaması ve tarama programları gibi birçok sağlık uygulamasında modelin amacı, bireyleri belirli bir olayın gerçekleşme durumuna göre sınıflandırmaktır. Bu olay genellikle bir hastalığın varlığı, belirli bir klinik sonucun ortaya çıkması veya bir tedaviye yanıt verilmesi gibi ikili bir sonuç değişkeni ile tanımlanır. Bu tür problemlerde model çıktısı çoğunlukla bir sınıf etiketi (örneğin “hasta / sağlıklı”) ya da ilgili sınıfa ait olma olasılığını ifade eden bir tahmin skoru biçimindedir.

Sınıflandırma modellerinin performansını değerlendirmek için geliştirilen ölçütler, modelin doğru sınıflandırma yapma kapasitesini farklı yönlerden inceleyen çok sayıda istatistiksel ölçüyü içerir. Bu ölçütlerin bir kısmı belirli bir karar eşiğine bağlı olarak hesaplanırken (threshold-dependent metrics), bazıları modelin tüm olası eşik değerleri üzerindeki davranışını değerlendiren eşik bağımsız ölçütlerdir (threshold-independent metrics). Sağlık alanındaki uygulamalarda performans ölçütlerinin yorumlanması yalnızca istatistiksel doğruluğun değerlendirilmesi ile sınırlı değildir; aynı zamanda yanlış pozitif ve yanlış negatif hataların klinik sonuçları da dikkate alınmalıdır. Bu nedenle sınıflandırma performansının değerlendirilmesi çoğu zaman birden fazla ölçütün birlikte raporlanmasını gerektirir.

Sınıflandırma metriklerinin büyük bölümü, model tarafından üretilen tahminlerin gerçek gözlemlerle karşılaştırılması sonucu elde edilen karışıklık matrisi (confusion matrix) üzerine kuruludur. Bu nedenle sınıflandırma performans ölçütlerinin matematiksel tanımlarına geçmeden önce bu matrisin yapısını açıklamak yararlı olacaktır.

3.1 Karışıklık Matrisi (Confusion Matrix)

İkili sınıflandırma problemlerinde model performansının değerlendirilmesi için en temel araçlardan biri karışıklık matrisidir. Karışıklık matrisi, model tarafından üretilen tahminler ile gözlenen gerçek sonuçların karşılaştırılması sonucu elde edilen dört hücreli bir tablo şeklinde ifade edilir. Bu tablo modelin doğru ve yanlış sınıflandırmalarını ayrı ayrı göstererek performans ölçütlerinin hesaplanmasına temel oluşturur.

Bir ikili sınıflandırma probleminde sonuç değişkeni genellikle pozitif (1) ve negatif (0) olmak üzere iki kategoriden oluşur. Modelin tahminleri de aynı şekilde pozitif veya negatif olarak sınıflandırılabilir. Bu durumda dört temel sonuç ortaya çıkar:

• Gerçek Pozitif (True Positive, TP): Gerçekten pozitif olan bir örneğin model tarafından doğru biçimde pozitif olarak sınıflandırılması.
• Gerçek Negatif (True Negative, TN): Gerçekten negatif olan bir örneğin model tarafından doğru biçimde negatif olarak sınıflandırılması.
• Yanlış Pozitif (False Positive, FP): Gerçekte negatif olan bir örneğin model tarafından yanlışlıkla pozitif olarak sınıflandırılması. Bu durum literatürde Tip I hata olarak da adlandırılır.
• Yanlış Negatif (False Negative, FN): Gerçekte pozitif olan bir örneğin model tarafından yanlışlıkla negatif olarak sınıflandırılması. Bu durum Tip II hata olarak da ifade edilir.

Bu dört bileşen kullanılarak karışıklık matrisi aşağıdaki şekilde gösterilebilir:

	Gerçek Pozitif	Gerçek Negatif
Tahmin Pozitif	TP	FP
Tahmin Negatif	FN	TN

Karışıklık matrisi yalnızca doğru sınıflandırma oranını değil, aynı zamanda modelin farklı hata türlerine karşı duyarlılığını da değerlendirmeye olanak tanır. Sağlık uygulamalarında bu ayrım özellikle önemlidir. Örneğin bir tarama testinde yanlış negatif sonuçlar (FN) ciddi klinik sonuçlara yol açabileceğinden, duyarlılığın yüksek olması tercih edilir. Buna karşılık bazı durumlarda yanlış pozitif sonuçların (FP) fazla olması gereksiz tanı testlerine veya tedavilere neden olabilir. Bu nedenle sınıflandırma performansını tek bir ölçü ile değerlendirmek çoğu zaman yeterli değildir.

Karışıklık matrisindeki bu dört temel bileşen kullanılarak sınıflandırma modellerinin performansını değerlendiren çeşitli istatistiksel ölçütler tanımlanmıştır. Bir sonraki bölümde karışıklık matrisinden türetilen ve sınıflandırma problemlerinde yaygın olarak kullanılan temel performans metriklerinin matematiksel tanımları ve yorumları sunulmaktadır.

3.2 Karışıklık Matrisinden Türetilen Temel Performans Ölçütleri

Karışıklık matrisi, sınıflandırma modellerinin performansını değerlendirmede kullanılan birçok ölçütün hesaplanmasına temel oluşturur. Bu ölçütler modelin doğru sınıflandırma yapma kapasitesini farklı yönlerden inceleyerek performansın daha ayrıntılı biçimde değerlendirilmesini sağlar. İkili sınıflandırma problemlerinde en yaygın kullanılan performans metrikleri doğruluk (accuracy), duyarlılık (sensitivity veya recall), özgüllük (specificity), kesinlik (precision) ve F1 skoru gibi ölçütleri içerir. Bu ölçütlerin tümü karışıklık matrisindeki dört temel bileşenin (TP, TN, FP ve FN) farklı kombinasyonları kullanılarak hesaplanır.

3.3 Doğruluk (Accuracy)

Doğruluk, modelin yaptığı tüm tahminler içinde doğru sınıflandırılan gözlemlerin oranını ifade eder. Doğruluk, karışıklık matrisindeki TP, TN, FP ve FN bileşenleri kullanılarak aşağıdaki şekilde hesaplanır.

Bu ölçüt modelin genel doğruluğunu yansıtır. Bununla birlikte özellikle sınıf dağılımının dengesiz olduğu veri setlerinde tek başına yeterli bir değerlendirme ölçütü olmayabilir. Örneğin hastalık prevalansının çok düşük olduğu bir veri setinde model tüm bireyleri “negatif” olarak sınıflandırsa bile yüksek doğruluk elde edilebilir. Bu nedenle nadir görülen olayların tahmin edildiği klinik uygulamalarda doğruluk değeri model performansını olduğundan daha iyi gösterebilir ve tek başına kullanılması yanıltıcı olabilir.

3.4 Duyarlılık (Sensitivity veya Recall)

Duyarlılık, gerçek pozitif örneklerin model tarafından doğru biçimde pozitif olarak sınıflandırılma oranını ifade eder.

Bu ölçüt, modelin pozitif vakaları ne ölçüde doğru biçimde yakalayabildiğini gösterir. Duyarlılığın yüksek olması, modelin gerçek pozitif vakaları kaçırma olasılığının düşük olduğunu ifade eder. Bu nedenle duyarlılık özellikle hastalık taraması veya erken tanı uygulamalarında büyük önem taşır; çünkü yanlış negatif sonuçlar klinik açıdan ciddi sonuçlara yol açabilir.

3.5 Özgüllük (Specificity)

Özgüllük, gerçek negatif örneklerin model tarafından doğru biçimde negatif olarak sınıflandırılma oranını ifade eder.

Bu ölçüt, modelin negatif vakaları doğru biçimde tanıyabilme kapasitesini gösterir. Özgüllüğün yüksek olması, modelin yanlış pozitif sonuç üretme eğiliminin düşük olduğunu ifade eder. Bu nedenle özgüllük özellikle gereksiz tanı testlerinin veya tedavilerin önlenmesi açısından önemli bir performans ölçütüdür.

3.6 Kesinlik-Pozitif Prediktif Değer (Precision veya Positive Predictive Value)

Kesinlik, model tarafından pozitif olarak tahmin edilen gözlemler içinde gerçekten pozitif olanların oranını ifade eder.

Bu ölçüt, modelin pozitif tahminlerinin ne kadarının doğru olduğunu gösterir. Kesinlik değeri yüksek olan bir model, pozitif olarak sınıflandırdığı gözlemlerin büyük kısmında doğru sonuç üretir. Bu nedenle kesinlik özellikle yanlış pozitif sonuçların maliyetinin yüksek olduğu uygulamalarda önemlidir (Altman, 1994). Bununla birlikte pozitif prediktif değer yalnızca model performansına değil, aynı zamanda çalışılan popülasyondaki olay prevalansına da bağlıdır.

3.7 Negatif Prediktif Değer (Negative Predictive Value)

Negatif prediktif değer, model tarafından negatif olarak sınıflandırılan gözlemler içinde gerçekten negatif olanların oranını ifade eder (Altman, 1994).

NPV değeri yüksek olan bir model, negatif olarak sınıflandırdığı gözlemlerin büyük kısmında doğru sonuç üretir.

Pozitif ve negatif prediktif değerler yalnızca model performansına değil, aynı zamanda çalışılan popülasyondaki olay prevalansına da bağlıdır. Bu nedenle farklı prevalanslara sahip popülasyonlarda elde edilen PPV ve NPV değerleri doğrudan karşılaştırılamayabilir ve model performansının yorumlanmasında dikkatli olunmalıdır.

3.8 F1 Skoru

F1 skoru, kesinlik (precision) ve duyarlılık (recall) ölçütlerinin harmonik ortalaması olarak tanımlanır. Bu ölçüt özellikle sınıf dağılımının dengesiz olduğu veri setlerinde model performansını daha dengeli biçimde değerlendirmek için kullanılır.

F1 skoru, kesinlik ve duyarlılık arasında denge kuran tek bir özet performans ölçüsü sağlar. Bu nedenle modelin hem pozitif vakaları doğru biçimde yakalayabilmesi hem de yanlış pozitif sonuçları sınırlayabilmesi gerektiği durumlarda yararlı bir değerlendirme ölçütü olarak kullanılmaktadır.

3.9 Dengelenmiş Doğruluk (Balanced Accuracy)

Sınıf dağılımının dengesiz olduğu veri setlerinde doğruluk ölçütünün yanıltıcı olmasını önlemek amacıyla dengelenmiş doğruluk ölçütü kullanılabilir.

Bu ölçüt duyarlılık ve özgüllük değerlerinin ortalaması olarak tanımlanır ve modelin pozitif ve negatif sınıfları ayırt etme performansını daha dengeli bir biçimde yansıtır.

3.10 MCC (Matthews Correlation Coefficient)

Sınıf dağılımının dengesiz olduğu veri setlerinde doğruluk veya F1 skoru gibi ölçütler model performansını yeterince yansıtmayabilir. Bu nedenle bazı çalışmalarda karışıklık matrisindeki tüm bileşenleri birlikte dikkate alan Matthews korelasyon katsayısı (MCC) kullanılmaktadır. Bu ölçüt, model tahminleri ile gerçek gözlemler arasındaki ilişkiyi tek bir özet korelasyon ölçüsü ile ifade eder (Chicco ve Jurman, 2020).

MCC aşağıdaki şekilde hesaplanır:

MCC değeri -1 ile +1 arasında değişir.

• 1 değeri mükemmel sınıflandırmayı,
• 0 rastgele tahmin düzeyinde performansı,
• -1 ise model tahminlerinin gerçek sonuçlarla tamamen ters yönde olduğunu gösterir.

Bu ölçütler sınıflandırma modellerinin performansını değerlendirmede yaygın olarak kullanılmakla birlikte çoğu zaman belirli bir karar eşiğine bağlı olarak hesaplanırlar. Model çıktısı olasılık biçiminde ifade edildiğinde, farklı eşik değerleri model performansının değişmesine neden olabilir. Bu nedenle modelin tüm eşik değerleri üzerindeki ayırt edicilik kapasitesini değerlendirmek amacıyla ROC eğrisi ve eğri altındaki alan (AUC) gibi eşik bağımsız performans ölçütleri de sıklıkla kullanılmaktadır. Bir sonraki bölümde bu ölçütler ayrıntılı olarak ele alınacaktır.

3.11 Eşik Analizi ve Eşik Bağımsız Performans Ölçütleri

3.11.1 ROC Eğrisi ve Eğri Altındaki Alan (AUC)

Karışıklık matrisinden türetilen performans ölçütleri genellikle belirli bir karar eşiğine (threshold) bağlı olarak hesaplanır. Birçok makine öğrenmesi modeli sınıf etiketleri yerine bir olasılık skoru üretir ve bu skor belirli bir eşik değeri kullanılarak sınıflandırmaya dönüştürülür. Ancak kullanılan eşik değeri değiştirildiğinde duyarlılık ve özgüllük gibi performans ölçütleri de değişebilir. Bu nedenle modelin performansını yalnızca tek bir eşik değeri üzerinden değerlendirmek her zaman yeterli olmayabilir.

Modelin farklı eşik değerleri altındaki ayırt edicilik kapasitesini değerlendirmek amacıyla Alıcı İşletim Karakteristiği eğrisi (Receiver Operating Characteristic, ROC) kullanılır. ROC eğrisi, farklı eşik değerleri için elde edilen duyarlılık (sensitivity) ile yanlış pozitif oranı (false positive rate) arasındaki ilişkiyi gösterir.

Yanlış pozitif oranı (False Positive Rate, FPR) aşağıdaki şekilde tanımlanır:

ROC eğrisinde yatay eksen yanlış pozitif oranını, dikey eksen ise duyarlılığı temsil eder. Modelin ürettiği olasılık skorları için farklı eşik değerleri seçilerek her eşik değeri için duyarlılık ve yanlış pozitif oranı hesaplanır. Bu noktaların grafikte birleştirilmesiyle ROC eğrisi elde edilir. ROC eğrisi modelin pozitif ve negatif sınıfları ayırt etme kapasitesini görsel olarak değerlendirmeye olanak tanır. Eğrinin sol üst köşeye yakın olması modelin pozitif ve negatif sınıfları yüksek doğrulukla ayırt edebildiğini gösterir. Buna karşılık köşegen doğrusu boyunca ilerleyen bir ROC eğrisi, model performansının rastgele tahmin düzeyine yakın olduğunu ifade eder.

ROC eğrisinin sayısal bir özeti olarak eğri altındaki alan (Area Under the Curve, AUC) kullanılır. AUC değeri ROC eğrisi altında kalan toplam alanı ifade eder ve modelin sınıfları ayırt etme kapasitesini tek bir ölçü ile özetler. AUC değeri 0 ile 1 arasında değişir. AUC değeri ayrıca rastgele seçilen bir pozitif örneğin rastgele seçilen bir negatif örnekten daha yüksek bir skor alma olasılığı olarak da yorumlanabilir (Hanley ve McNeil, 1982). AUC değerlerinin yorumlanmasında literatürde yaygın olarak kullanılan sınıflandırma Tablo 1’de sunulmuştur.

Tablo 1. AUC değerlerinin ayırt edicilik performansına göre yorumlanması

AUC Aralığı	Ayırt Edicilik Performansı
0.5	Rastgele tahmin düzeyi
0.5–0.7	Zayıf ayırt edicilik
0.7–0.8	Kabul edilebilir ayırt edicilik
0.8–0.9	İyi düzeyde ayırt edicilik
0.9–1.0	Çok yüksek ayırt edicilik

3.11.2 Precision-Recall Eğrisi ve Eğri Altındaki Alan

ROC eğrisi modelin ayırt edicilik performansını değerlendirmek için yaygın olarak kullanılan bir araç olmakla birlikte, özellikle sınıf dağılımının belirgin biçimde dengesiz olduğu veri setlerinde model performansını olduğundan daha iyi gösterebilir. Bu tür durumlarda model performansını değerlendirmek için precision–recall (PR) eğrisi daha bilgilendirici bir değerlendirme sağlayabilir.

Precision–recall eğrisi, model tarafından üretilen farklı karar eşikleri için precision (kesinlik) ile recall (duyarlılık) arasındaki ilişkiyi gösterir. Precision ve recall ölçütlerinin tanımları bir önceki bölümde verilmiştir; burada yalnızca bu iki ölçüt arasındaki ilişkinin eşik değerlerine göre nasıl değiştiği incelenmektedir. PR eğrisi oluşturulurken model tarafından üretilen olasılık skorları için farklı eşik değerleri seçilir ve her eşik değeri için hesaplanan precision ve recall değerleri grafikte gösterilir.

Elde edilen eğri modelin pozitif sınıfı doğru biçimde tanımlama kapasitesini görsel olarak değerlendirmeye olanak tanır. Eğrinin üst sağ köşeye yakın olması modelin hem yüksek precision hem de yüksek recall değerlerine aynı anda ulaşabildiğini gösterir.

PR eğrisinin sayısal bir özeti olarak precision–recall eğrisi altındaki alan (Area Under the Precision-Recall Curve, AUPRC) kullanılabilir. Bu ölçüt modelin pozitif sınıfı doğru biçimde ayırt etme kapasitesini tek bir değer ile özetler.

ROC eğrisinden farklı olarak PR eğrisi özellikle pozitif sınıfın nadir olduğu veri setlerinde model performansını değerlendirmede daha duyarlı bir ölçüt sağlar (Saito ve Rehmsmeier, 2015). Bu nedenle nadir hastalıkların tanısı, tarama testleri veya olayın düşük prevalansa sahip olduğu klinik veri setlerinde PR eğrisi sıklıkla tercih edilir.

3.11.3 Eşik Değer (Threshold) Seçimi

Birçok YZ sınıflandırma modeli çıktısını doğrudan sınıf etiketi şeklinde değil, belirli bir olayın gerçekleşme olasılığını ifade eden bir tahmin skoru biçiminde üretir. Bu skor genellikle 0 ile 1 arasında değişen bir olasılık değeridir. Model çıktısının klinik karar süreçlerinde kullanılabilmesi için bu olasılık değerinin belirli bir eşik değeri (threshold) kullanılarak sınıflandırmaya dönüştürülmesi gerekir.

En yaygın kullanılan yaklaşım, olasılık tahmininin 0.5 değerinden büyük olması durumunda gözlemin pozitif sınıfa atanmasıdır. Ancak bu eşik değeri her zaman en uygun seçim olmayabilir. Kullanılan eşik değeri değiştirildiğinde modelin duyarlılık (sensitivity), özgüllük (specificity), kesinlik (precision) ve yanlış pozitif oranı gibi performans ölçütleri de değişir. Bu nedenle eşik değerinin seçimi yalnızca istatistiksel performansa değil, aynı zamanda uygulamanın klinik bağlamına da bağlıdır.

Örneğin bir tarama testinde temel amaç mümkün olduğunca fazla gerçek vakayı yakalamaktır. Bu durumda yanlış negatif sonuçların sayısını azaltmak için daha düşük bir eşik değeri seçilebilir. Düşük eşik değerleri modelin daha fazla gözlemi pozitif olarak sınıflandırmasına neden olur ve bu durum duyarlılığı artırırken özgüllüğü azaltabilir. Buna karşılık kesin tanı veya tedavi kararlarında yanlış pozitif sonuçların maliyeti daha yüksek olabilir. Bu tür durumlarda daha yüksek bir eşik değeri tercih edilerek özgüllüğün artırılması hedeflenebilir.

İstatistiksel olarak en uygun eşik değerinin belirlenmesi için kullanılan yöntemlerden biri Youden indeksidir. Youden indeksi (J), duyarlılık ve özgüllüğün birlikte en yüksek olduğu eşik değerini belirlemeye yönelik bir ölçüttür ve aşağıdaki şekilde tanımlanır:

Youden indeksinin en yüksek olduğu eşik değeri, yanlış pozitif ve yanlış negatif oranları arasında dengeli bir performans sağlayan optimal eşik değeri olarak kabul edilir. Bu yaklaşım özellikle tanısal testlerin değerlendirilmesinde ve klinik sınıflandırma modellerinde sıklıkla kullanılmaktadır (Youden, 1950).

ROC ve precision–recall eğrileri farklı eşik değerlerinde model performansının nasıl değiştiğini incelemeye olanak tanıyan araçlardır. Bu eğriler, model performansının farklı karar eşikleri altında değerlendirilmesini sağlayarak uygulama bağlamına en uygun eşik değerinin belirlenmesine yardımcı olur. Dolayısıyla eşik değeri seçimi yalnızca teknik bir model parametresi değil, aynı zamanda klinik karar süreçleriyle doğrudan ilişkili bir tasarım unsurudur. Bununla birlikte optimal eşik değerinin belirlenmesi yalnızca istatistiksel ölçütlere değil, aynı zamanda yanlış pozitif ve yanlış negatif sonuçların klinik maliyetlerine de bağlıdır.

3.11.4 Olasılıksal Performans Ölçütleri (Proper Scoring Rules)

ROC ve precision–recall eğrileri modelin farklı eşik değerleri altındaki sınıflandırma performansını değerlendirmeye olanak tanır. Bununla birlikte birçok sınıflandırma modeli yalnızca sınıf etiketi değil, aynı zamanda belirli bir olayın gerçekleşme olasılığına ilişkin tahminler de üretir.

Bu tür durumlarda model performansını yalnızca doğru sınıflandırma oranı veya ayırt edicilik ölçütleri ile değerlendirmek yeterli olmayabilir. Model tarafından üretilen olasılık tahminlerinin gerçek sonuçlarla ne ölçüde uyumlu olduğunu değerlendirmek için olasılıksal performans ölçütleri kullanılmaktadır.

Olasılıksal performans ölçütleri literatürde proper scoring rules olarak adlandırılır. Bu tür ölçütler, modelin yalnızca doğru sınıfı tahmin edip etmediğini değil, aynı zamanda tahmin ettiği olasılıkların ne kadar doğru ve güvenilir olduğunu da değerlendirmeye olanak tanır. Başka bir ifadeyle bu ölçütler, modelin verdiği olasılık tahminlerinin gerçek sonuçlarla ne kadar tutarlı olduğunu nicel olarak ölçer (Gneiting ve Raftery, 2007)

Bu bağlamda makine öğrenmesi literatüründe en yaygın kullanılan olasılıksal performans ölçütleri log-loss (cross entropy) ve Brier skorudur. Bu ölçütler modelin olasılık tahminlerinin doğruluğunu farklı matematiksel yaklaşımlar kullanarak değerlendirir.

Brier skoru , model tarafından tahmin edilen olasılık değerleri ile gerçek sonuçlar arasındaki ortalama kare hatayı ölçer. Değerin küçük olması modelin olasılık tahminlerinin daha doğru olduğunu gösterir. Brier skoru özellikle klinik risk tahmini modellerinde sık kullanılan bir performans ölçütüdür çünkü modelin verdiği risk olasılıklarının gerçek sonuçlarla ne kadar uyumlu olduğunu doğrudan değerlendirmeye olanak tanır.

Burada 𝑦𝑖, gözlenen sonuç (0/1), 𝑝𝑖 tahmin edilen olasılık ve n gözlem sayısıdır.

Log-loss (cross-entropy), ise yanlış ve aşırı güvenli olasılık tahminlerini daha güçlü biçimde cezalandıran bir ölçüttür. Model gerçek sonucun olasılığını çok düşük tahmin ettiğinde Log-loss değeri hızla artar. Bu nedenle bu ölçüt, modelin yalnızca doğru tahmin yapmasını değil, aynı zamanda bu tahminleri uygun olasılık değerleriyle ifade etmesini de teşvik eder.

Burada 𝑝𝑖 modelin tahmini, 𝑦𝑖 ise gerçek etiket ve n gözlem sayısıdır.

Olasılıksal performans ölçütleri çoğu zaman kalibrasyon (calibration) kavramı ile birlikte değerlendirilir. Kalibrasyon, model tarafından tahmin edilen olasılıkların gerçek olay sıklıklarıyla ne kadar uyumlu olduğunu ifade eder. Örneğin model bir grup hasta için %20 risk tahmini yapıyorsa, bu grubun yaklaşık %20’sinde olayın gerçekleşmesi beklenir. Kalibrasyon grafikleri veya Brier skoru gibi ölçütler, bu uyumun değerlendirilmesine yardımcı olur.

Bu nedenle özellikle risk tahmini veya prognoz modellerinde, yalnızca ROC-AUC gibi ayırt edicilik ölçütlerine bakmak yeterli değildir; modelin ürettiği olasılık tahminlerinin güvenilirliğini değerlendiren kalibrasyon ve olasılıksal performans ölçütlerinin de raporlanması önerilir.

3.12 Bölüm Özeti

• Sınıflandırma modellerinin performansı tek bir ölçüt ile değerlendirilmemeli; duyarlılık, özgüllük, kesinlik ve F1 skoru gibi farklı performans ölçütleri birlikte yorumlanmalıdır.
• Sınıf dağılımının dengesiz olduğu veri setlerinde doğruluk (accuracy) değeri, modeli olduğundan daha başarılı gösterebilir; bu nedenle dengelenmiş doğruluk veya MCC gibi ölçütler daha bilgilendirici olabilir.
• ROC eğrisi modelin farklı eşik değerleri altındaki ayırt edicilik performansını değerlendirmek için kullanılırken, precision–recall eğrisi özellikle pozitif sınıfın nadir olduğu veri setlerinde daha duyarlı bir değerlendirme sağlar.
• Sınıflandırma modelleri çoğu zaman olasılık biçiminde çıktılar üretir ve bu olasılıkların belirli bir eşik değeri kullanılarak sınıflandırmaya dönüştürülmesi gerekir.
• Karar eşiğinin belirlenmesi yalnızca istatistiksel performans ölçütlerine değil, yanlış pozitif ve yanlış negatif sonuçların klinik etkilerine de bağlıdır.
• Bazı modeller sınıf etiketi yerine olayın gerçekleşme olasılığına ilişkin tahminler üretir. Bu tür durumlarda model performansı yalnızca sınıflandırma doğruluğu ile değil, aynı zamanda olasılık tahminlerinin güvenilirliğini değerlendiren Brier skoru veya log-loss gibi olasılıksal performans ölçütleri ile de incelenmelidir.

4. Regresyon Problemlerinde Performans Ölçütleri

Sağlık alanındaki bazı YZ uygulamalarında model çıktısı sınıf etiketi değil, sürekli bir sayısal değerdir. Örneğin bir hastanın yoğun bakımda kalış süresinin tahmini, laboratuvar değerlerinin öngörülmesi veya klinik risk skorlarının hesaplanması gibi durumlar regresyon problemlerine örnek olarak verilebilir. Bu tür modellerde performans değerlendirmesi sınıflandırma metriklerinden farklı ölçütler kullanılarak yapılır.

Regresyon modellerinde en yaygın kullanılan performans ölçütleri ortalama mutlak hata (Mean Absolute Error, MAE), karekök ortalama kare hata (Root Mean Squared Error, RMSE) ve determinasyon katsayısı (R²) gibi ölçütlerdir.

5. Ortalama Mutlak Hata (MAE)

MAE, model tarafından yapılan tahminlerin gerçek değerlerden ortalama olarak ne kadar saptığını gösterir. Bu ölçüt hataların mutlak büyüklüğünü değerlendirdiği için yorumlanması oldukça kolaydır ve tahmin hatasının ortalama büyüklüğünü doğrudan ifade eder.

Burada 𝑦𝑖, gerçek gözlemi, 𝑦̂𝑖, model tarafından üretilen tahmini ve n toplam gözlem sayısını ifade eder.

6. Karekök Ortalama Kare Hata (Root Mean Square Error, RMSE)

RMSE ise hataların karelerinin ortalamasının karekökünü alarak hesaplanır. Bu ölçüt büyük hatalara daha fazla ağırlık verdiği için özellikle büyük tahmin hatalarının önemli olduğu uygulamalarda daha duyarlı bir performans ölçütü sağlar.

Burada 𝑦𝑖, gerçek gözlemi, 𝑦̂𝑖, model tarafından üretilen tahmini ve n toplam gözlem sayısını ifade eder. RMSE değeri büyüdükçe modelin tahmin hatasının arttığı anlaşılır. RMSE değeri büyük hataları daha güçlü biçimde cezalandırdığı için aykırı değerlerin bulunduğu veri setlerinde MAE ve RMSE birlikte raporlanması önerilmektedir.

7. Belirtme Katsayısı, R² (Determination Coefficient)

R² (determinasyon katsayısı) ise modelin bağımlı değişkendeki toplam varyansın ne kadarını açıklayabildiğini gösteren bir performans ölçütüdür. R^2 değeri aşağıdaki şekilde hesaplanır:

Burada 𝑦𝑖, gerçek gözlemi, 𝑦̂𝑖, model tarafından üretilen tahmin değerini, 𝑦̅ gözlenen değerlerin ortalamasını ve n, toplam gözlem sayısını ifade eder. R^2 değerinin 1’e yaklaşması modelin veri üzerindeki açıklayıcılığının yüksek olduğunu, 0’a yaklaşması ise modelin açıklayıcılığının düşük olduğunu gösterir.

Regresyon problemlerinde performans değerlendirilirken tek bir ölçüte dayanmak yerine bu ölçütlerin birlikte raporlanması önerilir. Bu yaklaşım modelin hem tahmin hatasının büyüklüğünü hem de veri üzerindeki genel açıklayıcılığını daha kapsamlı biçimde değerlendirmeye olanak tanır.

8. Ortalama Mutlak Yüzde Hata (Mean Absolute Percentage Error, MAPE)

MAPE, model tarafından yapılan tahmin hatasını gerçek değere göre yüzde olarak ifade eden bir performans ölçütüdür. Bu ölçüt, tahmin hatasının büyüklüğünü göreli bir ölçekte değerlendirmeye olanak tanır ve sonuçların yorumlanmasını kolaylaştırır. Özellikle farklı ölçeklere sahip veri setlerinde model performansını karşılaştırmak için yararlı olabilir (Hyndman ve Koehler, 2006).

Burada 𝑦𝑖, gerçek gözlemi, 𝑦̂𝑖 model tarafından tahmin edilen değeri ve n, toplam gözlem sayısını ifade eder.

MAPE değeri tahmin hatasının ortalama olarak yüzde kaç olduğunu gösterir. Örneğin MAPE değerinin %10 olması, model tahminlerinin gerçek değerlerden ortalama olarak yaklaşık %10 saptığını ifade eder. Bununla birlikte MAPE ölçütü, gerçek değerlerin sıfıra çok yakın olduğu durumlarda aşırı büyük değerler üretebilir veya 𝑦𝑖= 0 olduğunda tanımsız hale gelebilir. Bu nedenle MAPE değerinin yorumlanmasında veri yapısının dikkate alınması önemlidir.

8.1 Bölüm Özeti

Regresyon problemlerinde model çıktısı sınıf etiketi değil, sürekli bir sayısal değerdir ve model performansı tahmin hatasının büyüklüğünü ölçen metrikler ile değerlendirilir.

• Ortalama mutlak hata (MAE), model tahminlerinin gerçek değerlerden ortalama olarak ne kadar saptığını gösteren ve yorumlanması kolay bir performans ölçütüdür.
• Karekök ortalama kare hata (RMSE), büyük tahmin hatalarına daha fazla ağırlık verdiği için özellikle büyük hataların önemli olduğu uygulamalarda daha duyarlı bir ölçüt sağlar.
• Ortalama mutlak yüzde hata (MAPE), tahmin hatasını yüzde cinsinden ifade ederek model performansının göreli olarak değerlendirilmesine olanak tanır.
• Belirtme katsayısı (R²), modelin bağımlı değişkendeki toplam varyansın ne kadarını açıklayabildiğini gösterir ve regresyon modellerinin açıklayıcılığını değerlendirmede yaygın olarak kullanılır.

9. Klinik Karar Bağlamında Performans Metriklerinin Yorumlanması

Yapay zekâ modellerinin performansı çoğu zaman tek bir ölçüt ile ifade edilse de sağlık alanındaki uygulamalarda model başarısının yorumlanması yalnızca sayısal performans değerlerine bakılarak yapılmamalıdır. Bu değerlerin klinik karar bağlamındaki anlamı da dikkate alınmalıdır. Kullanılan performans ölçütlerinin anlamı ve önemi, modelin kullanılacağı klinik bağlama ve karar sürecine göre değişebilir. Bu nedenle performans metriklerinin değerlendirilmesi her zaman uygulamanın klinik amacı ile birlikte ele alınmalıdır.

Örneğin tarama programlarında temel amaç mümkün olduğunca fazla gerçek vakayı saptamaktır. Bu tür durumlarda duyarlılık (sensitivity) genellikle en kritik performans ölçütlerinden biridir. Buna karşılık yanlış pozitif sonuçların önemli klinik veya ekonomik maliyetler doğurduğu durumlarda özgüllük (specificity) ve pozitif prediktif değer (PPV) daha büyük önem kazanabilir. Bu nedenle model performansı yorumlanırken yanlış pozitif ve yanlış negatif sonuçların klinik etkileri mutlaka dikkate alınmalıdır.

Sınıf dağılımının dengesiz olduğu veri setlerinde performans değerlendirmesi daha dikkatli yapılmalıdır. Özellikle nadir görülen hastalıkların tahmin edilmesinde yalnızca doğruluk (accuracy) gibi genel ölçütlere bakmak yanıltıcı olabilir. Bu tür durumlarda precision–recall eğrileri, F1 skoru veya dengelenmiş doğruluk (balanced accuracy) gibi ölçütler model performansını daha doğru biçimde yansıtabilir ve modelin nadir görülen olayları ayırt etme kapasitesini daha güvenilir biçimde değerlendirmeye olanak tanır.

Model çıktısının olasılık biçiminde ifade edildiği risk tahmini modellerinde ise yalnızca ayırt edicilik ölçütleri yeterli değildir. Bu tür modellerde tahmin edilen risk değerlerinin gerçek olay olasılıklarıyla uyumlu olup olmadığını değerlendiren kalibrasyon (calibration) önemli bir performans boyutunu oluşturur. Bu nedenle klinik risk tahmini veya prognoz modellerinde ROC- AUC gibi ayırt edicilik ölçütlerinin yanı sıra kalibrasyon ve olasılıksal performans ölçütlerinin de raporlanması önerilir.

Sonuç olarak model performansının değerlendirilmesi tek bir ölçüte indirgenmemeli, kullanılan performans metrikleri modelin çözmeye çalıştığı problem türü ve klinik karar bağlamı dikkate alınarak birlikte yorumlanmalıdır. Bu yaklaşım, yapay zekâ modellerinin gerçek klinik uygulamalardaki potansiyel faydasının ve klinik karar süreçlerine sağlayacağı katkının daha doğru biçimde değerlendirilmesine olanak tanır. Bu çerçevede yapay zekâ modellerinin performans değerlendirmesi üç temel boyut üzerinden ele alınabilir: ayırt edicilik (discrimination), kalibrasyon (calibration) ve klinik karar bağlamı (decision context).

Kaynakça

1. Altman DG, Bland JM. Diagnostic tests 2: Predictive values. BMJ. 1994;309:102.
2. Chicco D, Jurman G. The advantages of the Matthews correlation coefficient (MCC) over F1 score and accuracy in binary classification evaluation. BMC genomics. 2020 Jan 2;21(1):6.
3. Gneiting T, Raftery AE. Strictly proper scoring rules, prediction, and estimation. Journal of the American statistical Association. 2007 Mar 1;102(477):359-78.
4. Hanley JA, McNeil BJ. The meaning and use of the area under a receiver operating characteristic (ROC) curve. Radiology. 1982 Apr;143(1):29-36.
5. Hastie T, Tibshirani R, Friedman J. The elements of statistical learning: data mining, inference, and prediction. 2nd ed. New York: Springer; 2009.
6. Hyndman RJ, Koehler AB. Another look at measures of forecast accuracy. International journal of forecasting. 2006 Oct 1;22(4):679-88.
7. Saito T, Rehmsmeier M. The precision-recall plot is more informative than the ROC plot when evaluating binary classifiers on imbalanced datasets. PloS one. 2015 Mar 4;10(3):e0118432.
8. Sasse L, Nicolaisen-Sobesky E, Dukart J, Eickhoff SB, Götz M, Hamdan S, Komeyer V, Kulkarni A, Lahnakoski JM, Love BC, Raimondo F. Overview of leakage scenarios in supervised machine learning. Journal of Big Data. 2025 May 29;12(1):135.
9. Tibshirani RJ., Efron B, An introduction to the bootstrap. Monographs on statistics and applied probability, 1993;57(1), 1-436.
10. Youden WJ. Index for rating diagnostic tests. Cancer. 1950;3(1):32-5.