Bir makine öğrenmesi modelinin değeri, geliştirildiği gün değil, canlıda güvenilir şekilde çalıştığı sürece ortaya çıkar. Bazı kurumlar yeni bir modeli saatler içinde canlıya alıp sürekli izlerken, bazıları için bu aylar sürer ve model canlıya çıktıktan sonra unutulur. Aradaki farkı MLOps olgunluğu belirler.
İki yaygın model
Google'ın MLOps modeli üç seviyelidir:
- Seviye 0 – Elle süreç: Eğitim ve dağıtım elle yapılır.
- Seviye 1 – ML hattı otomasyonu: Model yeni veriyle otomatik olarak yeniden eğitilir.
- Seviye 2 – CI/CD hattı otomasyonu: Hattın kendisi de otomatik olarak test edilir ve dağıtılır.
Microsoft'un modeli ise aradaki adımları daha ayrıntılı tanımlar ve beş seviyeden oluşur. Aşağıda bu modeli temel alıyoruz.
Beş seviye
Seviye 0 – MLOps yok
- Modeller veri bilimcilerin bilgisayarlarında, notebook'larda geliştirilir.
- Deneyler takip edilmez; bir modelin hangi veriyle eğitildiği bilinmez.
- Canlıya alma, yazılım ekibine bir dosyanın teslim edilmesiyle olur.
- Canlıdaki modellerin performansı izlenmez.
Bir sonraki adım: Deney takibi ve model kaydı (ör. MLflow), kod ve verinin versiyonlanması.
Seviye 1 – DevOps var, MLOps yok
- Uygulama kodu için CI/CD ve otomatik testler var.
- Ama model eğitimi hâlâ elle yapılıyor ve tekrarlanabilir değil.
- Modelin kendisi uygulamaya "statik bir dosya" olarak ekleniyor.
Bir sonraki adım: Eğitimi tekrarlanabilir bir hatta taşımak, veri doğrulamayı otomatikleştirmek.
Seviye 2 – Otomatik eğitim
- Eğitim hatları tanımlı ve tekrarlanabilir.
- Deneyler, parametreler ve veri sürümleri otomatik olarak kaydediliyor.
- Ama dağıtım hâlâ elle ve onay zinciri uzun.
Bir sonraki adım: Model dağıtımı için CI/CD, otomatik testler ve tek adımda geri alma.
Seviye 3 – Otomatik model dağıtımı
- Doğrulanan modeller otomatik olarak canlıya alınıyor.
- Sorun çıkarsa önceki sürüme hızla dönülebiliyor.
- İzleme var, ama yeniden eğitim kararı hâlâ elle veriliyor.
Bir sonraki adım: Veri kayması ve performans düşüşünü izleyip yeniden eğitimi otomatik tetiklemek.
Seviye 4 – Tam otomatik MLOps operasyonları
- Model performansı ve veri kayması sürekli izleniyor.
- Eşikler aşıldığında yeniden eğitim, doğrulama ve dağıtım otomatik çalışıyor.
- Tüm süreç izlenebilir ve denetlenebilir.
Odak: Maliyet optimizasyonu, yönetişim ve platformun kurum geneline yayılması.
Seviyelerin özeti
| Alan | Seviye 0 | Seviye 2 | Seviye 4 |
|---|---|---|---|
| Deney takibi | Yok | Otomatik | Otomatik ve denetlenebilir |
| Eğitim | Notebook'ta, elle | Otomatik hat | Olayla tetiklenen hat |
| Dağıtım | Aylar, elle | Elle, günler | Otomatik, saatler |
| İzleme | Yok | Raporlar | Alarmlar ve otomatik yeniden eğitim |
| Geri alma | Zor | Elle | Tek adım veya otomatik |
LLM uygulamaları ve LLMOps
Üretken yapay zekâ uygulamaları yeni ihtiyaçlar getiriyor:
- Prompt versiyonlama: Prompt'lar kod gibi versiyonlanmalı ve test edilmeli.
- Değerlendirme setleri: Her değişiklikte çıktı kalitesi ölçülmeli; LLM-as-a-judge gibi yöntemler kullanılabilir.
- İzleme (tracing): Bir isteğin hangi adımlardan geçtiği ve hangi dokümanların kullanıldığı görülebilmeli.
- Maliyet ve güvenlik: Token kullanımı, hassas veri sızıntısı ve kötüye kullanım girişimleri izlenmeli.
Bu ihtiyaçlar klasik MLOps seviyeleriyle birlikte değerlendirilmeli; LLM uygulamaları çoğu kurumda klasik modellerden daha hızlı değişiyor.
Hangi seviye size uygun?
Her kurumun Seviye 4'e ihtiyacı yok. Karar verirken şunlara bakın:
- Model sayısı: Az sayıda model için ağır bir platform gereksiz olabilir.
- Güncelleme sıklığı: Veri hızlı değişiyorsa otomatik yeniden eğitim kritik.
- Risk düzeyi: Kredi skorlama gibi yüksek riskli modellerde izlenebilirlik ve denetlenebilirlik zorunlu hale geliyor.
MLOps seviyenizi ölçün
MLTeam'in ücretsiz MLOps Olgunluk Analizi 12 soruda deney takibi, eğitim hattı, dağıtım, izleme, LLMOps ve ekip süreçlerini değerlendirir; seviyenizi (0–4) ve en zayıf alanlarınız için önerileri gösterir.
Kaynaklar