ChatGPT gibi bir dil modeline kurumunuzun izin politikasını, ürün koşullarını veya iç prosedürlerini sorduğunuzda ya "bilmiyorum" der ya da daha kötüsü, ikna edici ama yanlış bir cevap uydurur. Çünkü model bu dokümanları hiç görmemiştir.
RAG (Retrieval-Augmented Generation – getirmeyle güçlendirilmiş üretim) bu sorunu çözen ve kurumsal GenAI uygulamalarında en yaygın kullanılan mimaridir.
RAG nasıl çalışır?
RAG'in mantığı basit: Modele soruyu sormadan önce, cevabın bulunabileceği doküman parçalarını bulup modele soruyla birlikte veririz. Model de cevabı bu parçalara dayanarak üretir.
Süreç iki aşamadan oluşur:
Hazırlık (bir kez ve dokümanlar değiştikçe):
- Dokümanlar toplanır: PDF, Word, wiki sayfaları, prosedürler
- Dokümanlar anlamlı parçalara bölünür
- Her parça, anlamını temsil eden sayısal bir vektöre dönüştürülür
- Vektörler bir vektör veritabanında saklanır
Soru–cevap (her soruda):
- Kullanıcının sorusu vektöre dönüştürülür
- Soruya anlamca en yakın doküman parçaları bulunur
- Bu parçalar soruyla birlikte dil modeline verilir
- Model, parçalara dayanan ve kaynak gösteren bir cevap üretir
RAG mı, ince ayar (fine-tuning) mı?
| RAG | İnce ayar | |
|---|---|---|
| Ne öğretir? | Bilgi (dokümanlardaki içerik) | Davranış ve üslup |
| Güncelleme | Doküman eklemek yeterli | Yeniden eğitim gerekir |
| Kaynak gösterme | Mümkün | Zor |
| Erişim yetkisi | Kullanıcıya göre filtrelenebilir | Model içine gömülür, filtrelenemez |
| Maliyet | Görece düşük | Daha yüksek |
Kurumsal bilgiye erişim senaryolarının büyük çoğunluğunda RAG doğru başlangıç noktasıdır. İnce ayar, belirli bir üslup veya özel bir görev için RAG'i tamamlayan bir araç olarak düşünülmeli.
Kurumsal kullanım alanları
- Çalışan destek asistanı: İK politikaları, BT prosedürleri, iç yönetmelikler
- Müşteri hizmetleri asistanı: Ürün koşulları, sık sorulan sorular, işlem adımları
- Mevzuat ve uyum asistanı: Regülasyon metinleri, iç politikalar
- Doküman zekası: Sözleşmeler, raporlar ve dosyalar üzerinde soru–cevap ve karşılaştırma
Kurulumda dikkat edilmesi gerekenler
Doküman kalitesi
RAG, dokümanlarınız kadar iyidir. Güncel olmayan, birbiriyle çelişen veya taranmış ve okunamayan dokümanlar yanlış cevaplara yol açar.
Parçalama stratejisi
Dokümanların nasıl bölündüğü sonuç kalitesini doğrudan etkiler. Çok küçük parçalar bağlamı kaybeder; çok büyük parçalar alakasız bilgi taşır. Tablolar, başlık yapısı ve madde numaraları korunmalıdır.
Arama kalitesi
Yalnızca anlamsal arama her zaman yeterli değildir. Ürün kodları, madde numaraları veya özel isimler için anlamsal ve anahtar kelime aramasını birleştiren hibrit arama genellikle daha iyi sonuç verir.
Erişim yetkileri
Her çalışan her dokümanı görmemeli. RAG sistemi, kullanıcının yetkili olduğu dokümanlar üzerinden cevap vermelidir. Bu, kurumsal RAG'de en sık atlanan ama en kritik konulardan biridir.
Güncellik
Dokümanlar değiştiğinde vektör veritabanı da güncellenmelidir. Aksi halde asistan eski bilgiyle cevap verir.
Kalite nasıl ölçülür?
Bir RAG sistemi "iyi görünüyor" diye canlıya alınmamalı. Ölçülmesi gerekenler:
- Getirme kalitesi: Doğru doküman parçaları bulunuyor mu?
- Bağlılık (groundedness): Cevap gerçekten getirilen parçalara mı dayanıyor, yoksa model bir şeyler mi ekliyor?
- Cevap doğruluğu: Uzmanların hazırladığı soru–cevap setiyle karşılaştırma
- Kaynak doğruluğu: Gösterilen kaynaklar cevabı gerçekten destekliyor mu?
Bunun için bir değerlendirme seti oluşturmak ve her değişiklikte sistemi bu sete göre test etmek gerekir.
Kurum içinde RAG
Hassas dokümanlarla çalışan kurumlar için RAG sisteminin tüm bileşenleri (dil modeli, vektör veritabanı, doküman işleme) tamamen kurum içinde çalıştırılabilir. Bu, özellikle bankacılık ve kamu gibi verisini dışarı çıkaramayan sektörler için önemli bir avantaj.
Sonuç
RAG, dil modellerini kurumunuzun bilgisiyle buluşturmanın en pratik ve güvenilir yolu. Başarının anahtarı modelden çok doküman kalitesi, arama stratejisi, erişim yetkileri ve sistematik değerlendirme.
GenAI ve LLM Çözümleri hizmetimizle kurumsal dokümanlarınız üzerinde çalışan asistanları bulutta veya kurum içinde geliştiriyoruz. Teknik ekiplerinizin bu yetkinliği kazanması için LLM Uygulama Geliştirme eğitimimizi inceleyebilirsiniz.
Kaynaklar