Bankacılık, sigorta, kamu ve savunma gibi sektörlerde çalışan birçok kurum, büyük dil modellerinin (LLM) sunduğu fırsatları görüyor ama verisini dış servislere gönderemiyor. Çözüm, modeli kurumun kendi veri merkezinde çalıştırmak. Birkaç yıl önce zor ve pahalı olan bu seçenek, yüksek performanslı açık ağırlıklı modeller ve verimli servis yazılımlarıyla bugün çok daha erişilebilir.
1. Kullanım senaryosu ve hacimden başlayın
Donanım ve model seçimi, ne yapmak istediğinize ve ne kadar kullanılacağına bağlıdır:
- Hangi görevler? (doküman özetleme, soru–cevap, sınıflandırma, kod üretimi)
- Kaç kullanıcı, eş zamanlı kaç istek?
- Dokümanlar ne kadar uzun? (bağlam penceresi ihtiyacı)
- Cevap süresi beklentisi nedir?
Bu soruların cevabı olmadan yapılan GPU yatırımı ya yetersiz kalır ya da gereksiz büyük olur.
2. Model seçimi
Açık ağırlıklı model ekosistemi hızla gelişiyor. Seçimde dikkate alınacaklar:
- Görev performansı: Genel kıyaslamalar yol gösterir, ama asıl test kendi verinizle yapılmalı.
- Türkçe performansı: Türkçe dokümanlarla çalışılacaksa modelin Türkçe yetkinliği ayrıca değerlendirilmeli.
- Boyut ve mimari: Küçük modeller daha ucuz ve hızlıdır; birçok kurumsal görev için yeterli olabilir. Uzman karışımı (MoE) mimarileri, toplam parametre sayısına göre daha düşük hesaplama maliyetiyle çalışır.
- Lisans: Ticari kullanım koşulları modelden modele değişir.
Birçok kurum için en verimli yaklaşım, görevlere göre farklı boyutta modelleri birlikte kullanmaktır.
3. GPU boyutlandırma
Temel kural basit: Model ağırlıkları için gereken bellek ≈ parametre sayısı × parametre başına bayt.
| Hassasiyet | Parametre başına | 70 milyar parametreli model için |
|---|---|---|
| FP16 / BF16 | 2 bayt | ~140 GB |
| FP8 / INT8 | 1 bayt | ~70 GB |
| INT4 | 0,5 bayt | ~35 GB |
Buna ek olarak, aktivasyonlar, eş zamanlı istekler için gereken önbellek (KV cache) ve servis yükü için genellikle %20–40 ek pay bırakılır. Uzun dokümanlar ve çok sayıda eş zamanlı kullanıcı bu payı artırır.
Nicemleme (quantization), modeli daha düşük hassasiyete indirerek bellek ihtiyacını ciddi şekilde azaltır. Kalite kaybı genellikle sınırlıdır, ama kendi görevlerinizde test edilmelidir.
4. Servis yazılımı
Modeli bir API olarak sunmak için kullanılan yazılım, performansı doğrudan belirler. vLLM, 2026 itibarıyla kurum içi LLM servisinde fiilî standart haline geldi: verimli bellek yönetimi, sürekli toplu işleme (continuous batching) ve çoklu GPU desteği sunuyor. OpenAI uyumlu bir API sağladığı için uygulamaları bulut ve kurum içi modeller arasında taşımak da kolaylaşıyor.
5. Mimari: Model tek başına yetmez
Kullanılabilir bir kurum içi yapay zekâ platformu genellikle şunları içerir:
- Model servis katmanı (ör. vLLM)
- RAG altyapısı: doküman işleme, vektör veritabanı, arama
- Erişim yönetimi: kurumsal kimlik doğrulama, rol bazlı yetki, doküman bazlı erişim kontrolü
- Güvenlik katmanları: girdi ve çıktı kontrolleri, hassas veri maskeleme
- Loglama ve izleme: kullanım, performans, maliyet ve kalite takibi
- Değerlendirme: model veya prompt değiştiğinde kalitenin ölçülmesi
6. Maliyet: Ne zaman kurum içi daha avantajlı?
Kurum içi kurulumun maliyeti; donanım, enerji, veri merkezi alanı ve işletim ekibinden oluşur. API servislerinde ise kullanım başına ödeme yapılır.
Sektör analizleri, yüksek ve sürekli kullanımda (ör. ayda yaklaşık 1 milyar token ve üzeri, GPU'ların büyük kısmının sürekli meşgul olduğu senaryolarda) kendi altyapınızın API'lere göre avantajlı hale gelebildiğini gösteriyor. Düşük ve düzensiz kullanımda ise API'ler genellikle daha ekonomik.
Ancak birçok kurum için asıl karar maliyetten değil, regülasyon ve veri güvenliğinden gelir. Veri dışarı çıkamıyorsa soru "hangisi daha ucuz" değil, "kurum içinde bunu en verimli nasıl yaparız" olur.
Kurulum adımları
- Kullanım senaryolarını ve hacmi belirleyin
- Aday modelleri kendi verinizle test edin
- Donanımı senaryolara ve büyüme planına göre boyutlandırın
- Servis, RAG, güvenlik ve izleme katmanlarını kurun
- Değerlendirme setiyle kaliteyi doğrulayın
- Pilot kullanıcılarla başlayıp kademeli yaygınlaştırın
Sonuç
Kurum içi LLM kurulumu artık yalnızca büyük teknoloji şirketlerinin yapabileceği bir şey değil. Doğru model, doğru boyutlandırma ve doğru mimariyle, verinizi dışarı çıkarmadan GenAI'den gerçek değer elde edebilirsiniz.
On-Premise Yapay Zekâ Altyapısı hizmetimizle ihtiyaç analizinden donanım boyutlandırmaya, model seçiminden işletime kadar tüm süreçte yanınızdayız. Teknik ekipleriniz için LLM Uygulama Geliştirme eğitimimiz vLLM ile kurum içi servis konusunu da kapsıyor.
Kaynaklar