Kredi skorlama modelleri, bir finans kurumunun en kritik kararlarını etkiler: kime kredi verileceği, hangi limitle ve hangi fiyatla. Bu nedenle bir modelin "iyi çalıştığını" geliştiren ekibin söylemesi yetmez. Modelin bağımsız bir gözle doğrulanması hem iyi bir risk yönetimi uygulaması hem de giderek artan bir regülasyon beklentisi.
AB Yapay Zekâ Tüzüğü, gerçek kişilerin kredi değerlendirmesi ve skorlamasını yüksek riskli kabul ediyor ve ilgili yükümlülükler 2 Aralık 2027'de uygulanmaya başlayacak. Türkiye'de de sektör kaynaklarına göre BDDK, model riski ve doğrulamayı kapsayan bir yapay zekâ düzenlemesi üzerinde çalışıyor.
İyi bir model doğrulaması şu başlıkları kapsar:
1. Kavramsal sağlamlık
Doğrulama rakamlardan önce tasarımı sorgular:
- Modelin amacı ve kullanım alanı net mi? (başvuru skoru, davranış skoru, limit, fiyatlama)
- Temerrüt tanımı uygun ve tutarlı mı?
- Geliştirme verisi hedef portföyü temsil ediyor mu? Hangi dönemleri kapsıyor?
- Reddedilen başvurular nasıl ele alındı? (reject inference)
- Değişkenlerin seçimi iş mantığıyla uyumlu mu? Beklenmedik yönde çalışan değişken var mı?
- Segmentasyon gerekçelendirilmiş mi?
2. Ayrıştırma gücü
Model iyi ve kötü müşteriyi ne kadar iyi ayırt ediyor?
- Gini katsayısı / AUC: En yaygın ölçüt (Gini = 2 × AUC − 1)
- KS istatistiği: İyi ve kötü dağılımları arasındaki en büyük fark
- Bu ölçütler yalnızca geliştirme verisinde değil, zaman dışı (out-of-time) ve örneklem dışı verilerde de hesaplanmalı. Geliştirme ile doğrulama sonuçları arasındaki büyük fark aşırı öğrenmeye işaret eder.
3. Kalibrasyon
Ayrıştırma gücü yüksek bir model bile yanlış seviyede temerrüt olasılığı tahmin edebilir. Kalibrasyon, tahmin edilen ile gerçekleşen temerrüt oranlarının uyumunu test eder:
- Skor gruplarında tahmin edilen ve gerçekleşen oranların karşılaştırılması
- Binom testi gibi istatistiksel testler
- Ekonomik döngü etkisinin değerlendirilmesi
Kalibrasyon özellikle limit, fiyatlama ve karşılık hesapları gibi olasılığın doğrudan kullanıldığı yerlerde kritik.
4. Kararlılık
Model geliştirildiği günkü nüfusla bugünkü nüfus aynı mı?
- PSI (Population Stability Index): Skor dağılımındaki kaymayı ölçer. Yaygın kullanılan pratik eşikler: 0,10'un altı stabil, 0,10–0,25 arası izlenmeli, 0,25'in üzeri önemli kayma.
- CSI (Characteristic Stability Index): Aynı analizin değişken bazında yapılması; kaymanın hangi değişkenden kaynaklandığını gösterir.
5. Kıyaslama (benchmark)
Modelin performansı alternatif bir yaklaşımla karşılaştırılmalı: daha basit bir model, farklı bir algoritma (challenger) ya da önceki model. Karmaşık bir makine öğrenmesi modeli, basit bir modele göre anlamlı bir fark yaratmıyorsa karmaşıklığın getirdiği risk sorgulanmalı.
6. Açıklanabilirlik ve adalet
Kredi kararları kişileri doğrudan etkilediği için:
- Model kararlarının gerekçelendirilebilir olması gerekir. Makine öğrenmesi modellerinde SHAP gibi yöntemler hem model geneli hem tekil kararlar için açıklama sağlar.
- Önyargı analizi: Model, korunan özellikler (ör. cinsiyet, yaş) veya bunların vekili olabilecek değişkenler üzerinden dolaylı ayrımcılık yapıyor mu?
- Reddedilen müşteriye verilecek gerekçenin modelle tutarlı olması gerekir.
7. Uygulama ve kullanım testi
Doğrulanan model ile canlıda çalışan model aynı mı? Skor hesaplamasının sistemlerde doğru uygulandığı, değişkenlerin aynı tanımlarla üretildiği ve modelin tasarlandığı amaçla kullanıldığı kontrol edilmeli.
8. Dokümantasyon ve yönetişim
- Model dokümantasyonu bağımsız bir uzmanın modeli yeniden anlayabileceği kadar ayrıntılı mı?
- Model envanterinde kayıtlı mı, sahibi belli mi?
- Doğrulama, modeli geliştiren ekipten bağımsız mı?
9. Sürekli izleme
Doğrulama tek seferlik değildir. Canlıdaki her model için:
- Ayrıştırma gücü, kalibrasyon ve kararlılık göstergeleri düzenli izlenmeli
- Her gösterge için eşik değerler ve eşik aşıldığında yapılacaklar tanımlanmalı
- Belirli aralıklarla veya önemli değişikliklerden sonra yeniden doğrulama yapılmalı
Doğrulama kontrol listesi
| Alan | Temel soru |
|---|---|
| Kavramsal sağlamlık | Model doğru tasarlanmış mı? |
| Ayrıştırma gücü | İyi ve kötüyü ayırt ediyor mu? |
| Kalibrasyon | Olasılıklar doğru seviyede mi? |
| Kararlılık | Nüfus değişti mi? |
| Kıyaslama | Daha basit bir alternatif kadar iyi mi? |
| Açıklanabilirlik ve adalet | Kararlar gerekçelendirilebilir ve adil mi? |
| Uygulama | Canlıdaki model doğrulanan modelle aynı mı? |
| Dokümantasyon | Bağımsız bir uzman modeli anlayabilir mi? |
| İzleme | Bozulma zamanında fark edilecek mi? |
Sonuç
Kredi skorlama modellerinin doğrulanması, regülasyona hazırlığın ötesinde kredi kararlarının kalitesini korumanın en etkili yoludur. Düzenli ve bağımsız bir doğrulama, modelin sessizce bozulmasını önler ve yönetime güvenilir bir resim sunar.
Bankacılık ve finans sektöründe kredi skorlama, NPL ve tahsilat modelleri geliştirme ve yönetme deneyimimizle Model Riski ve Model Doğrulama hizmeti sunuyoruz. Yeni modeller geliştirmek veya mevcut modellerinizi yenilemek için Makine Öğrenmesi Modelleri hizmetimizi inceleyebilirsiniz.
Kaynaklar