Şirketime Yapay Zekâ Kurmak İçin Ne Lazım? On-Premise AI Altyapısı Rehberi

Yapay zekâ projeleri artık yalnızca Ar-Ge ekiplerinin değil; operasyon, satış, müşteri hizmetleri, finans ve hukuk birimlerinin de gündeminde. Ancak kurumsal ölçekte başarılı olmak için yalnızca bir model seçmek yeterli değildir. Doğru sonuç; güvenli, sürdürülebilir ve ölçülebilir bir on-premise yapay zekâ altyapısı tasarımıyla gelir.

Bu rehberde, yerel LLM kurulumundan GPU sunucu boyutlandırmasına, RAG (Retrieval-Augmented Generation) mimarisinden KVKK uyumuna kadar kritik başlıkları adım adım ele alıyoruz.

1. Neden On-Premise Yapay Zekâ?

Bulut tabanlı AI servisleri hızlı başlangıç sağlar; fakat bazı sektörlerde veri egemenliği, gecikme ve regülasyon gereksinimleri nedeniyle kurum içi kurulum kritik hale gelir. Bankacılık, üretim, telekom, sağlık ve kamu gibi alanlarda verinin kurum içinde kalması çoğu zaman zorunluluktur.

• Veri kontrolü: Hassas verilerin üçüncü taraf ortama çıkmadan işlenmesi
• Düşük gecikme: Gerçek zamanlı iş akışlarında daha hızlı cevap süreleri
• Özelleştirme: Kurumsal terminolojiye uygun model ve prompt yönetimi
• Uyumluluk: KVKK, iç denetim ve sektörel regülasyonlarla daha kolay hizalanma

2. Doğru Başlangıç: İş Hedefini ve Kullanım Senaryosunu Netleştirin

En sık yapılan hata, “önce teknoloji seçmek”tir. Oysa doğru yaklaşım, iş etkisi yüksek bir kullanım senaryosunu belirlemektir. İlk fazda tek bir kullanım senaryosuyla başlamak, ölçülebilir başarı üretir.

Önerilen ilk kullanım senaryoları

• Teknik doküman ve sözleşme özetleme
• Çağrı merkezi bilgi asistanı (iç bilgi tabanı destekli)
• Satış ekipleri için teklif ve e-posta taslağı üretimi
• IT destek ekibi için olay sınıflandırma ve çözüm önerileri

3. Donanım Boyutlandırması: GPU, CPU, RAM, Depolama, Ağ

AI altyapısı planlaması yapılırken model boyutu, eşzamanlı kullanıcı sayısı ve hedeflenen yanıt süresi birlikte değerlendirilmelidir. Aşağıdaki çerçeve, pratik bir başlangıç sağlar:

• GPU: Modelin parametre boyutuna ve token/saniye hedefinize göre seçilir.
• CPU: API orkestrasyonu, ön işleme ve entegrasyon servisleri için kritik rol oynar.
• RAM: Model servisleri + vektör veritabanı + uygulama katmanı toplamına göre ayrılmalıdır.
• Depolama: NVMe SSD, model yükleme sürelerini ve indeks erişim performansını iyileştirir.
• Ağ: Kurumsal AI yüklerinde omurga tarafında 100GbE, yoğun kümelerde 400GbE (ve uygun leaf-spine mimarisi) planlanmalıdır; 10/25GbE yalnızca sınırlı pilotlar için uygundur.

Ek olarak, üretim ortamında yüksek erişilebilirlik ve yedeklilik için en az iki düğümlü tasarım, yedek güç ve merkezi izleme altyapısı önerilir.

4. Yerel LLM Mimarisi ve Model Yaşam Döngüsü

Kurumsal ortamda model seçimi yalnızca doğruluk oranı ile yapılmaz. Lisans modeli, güncelleme sıklığı, açıklanabilirlik, kaynak tüketimi ve güvenlik ihtiyaçları birlikte değerlendirilmelidir.

Model katmanında kritik kararlar

• Model türü: Genel amaçlı LLM mi, alan odaklı küçük model mi?
• Quantization: Kaynak tüketimini azaltırken kaliteyi koruma dengesi
• Versiyonlama: Üretimde kullanılan model sürümlerinin kayıt altına alınması
• Rollback planı: Yeni sürümde kalite düşerse hızlı geri dönüş

5. RAG Mimarisi: Kurumsal Bilgiyi Modellerle Güvenli Buluşturma

Kurumsal AI projelerinde en yüksek verim, modelleri kurum verisiyle destekleyen RAG yaklaşımı ile elde edilir. Böylece model, yalnızca genel bilgiye değil kurumun güncel bilgi tabanına dayanarak yanıt üretir.

• Doküman parçalama (chunking) stratejisi ve metadata yönetimi
• Vektör veritabanı seçimi ve erişim politikaları
• Kaynak gösterimi (citation) ve güven skorları
• Yanlış/eksik cevapları azaltmak için doğrulama katmanı

6. Güvenlik, KVKK ve Denetim Gereksinimleri

On-premise kurulumun en büyük avantajlarından biri güvenlik ve uyumluluk yönetimidir. Ancak bunun için teknik kontrollerin baştan kurgulanması gerekir.

• Kimlik doğrulama ve yetkilendirme: RBAC/ABAC yaklaşımı
• Şifreleme: Aktarımda (TLS) ve depolamada şifreleme
• Loglama: Prompt, çıktı, kullanıcı aksiyonu ve model sürümü bazlı denetim izi
• Veri maskeleme: Kişisel veri ve kritik alanlar için otomatik maskeleme

Altyapınızı kurgularken ilgili bilişim güvenliği çözümleri ve sistem çözümleri sayfalarımızdaki mimari yaklaşımları da referans alabilirsiniz.

7. Performans ve Kapasite Planlaması

Kurum içi AI altyapısında performansı yalnızca “hız” olarak düşünmek hatalıdır. Doğru yaklaşım; kullanıcı deneyimi, maliyet ve sürdürülebilirlik dengesidir.

• Ortalama/tepe kullanıcı sayısı ve eşzamanlı istek analizi
• Token/saniye hedefi ve kabul edilebilir yanıt gecikmesi
• GPU kullanım oranı, kuyruklama süresi ve hata oranlarının izlenmesi
• Yatay ölçekleme, model önbellekleme ve istek önceliklendirme stratejileri

8. 90 Günlük Örnek Uygulama Yol Haritası

0-30 Gün: Hazırlık ve Pilot

• Kullanım senaryosu seçimi ve başarı KPI’larının tanımı
• Altyapı envanteri, güvenlik gereksinimleri ve mimari tasarım
• Pilot model ve veri seti ile PoC çalışması

31-60 Gün: Entegrasyon ve Güvenlik

• RAG entegrasyonu ve kurumsal veri kaynaklarının bağlanması
• Kimlik yönetimi, loglama ve denetim süreçlerinin devreye alınması
• Kullanıcı testleri ve kalite iyileştirme döngüsü

61-90 Gün: Üretim ve Ölçekleme

• Üretim geçişi, SLA hedefleri ve operasyonel runbook
• Model sürüm yönetimi ve otomatik performans raporları
• Yeni birimlere aşamalı yaygınlaştırma

9. Sık Yapılan Hatalar

• İş ihtiyacı netleşmeden altyapı yatırımına başlamak
• Model doğruluğunu ölçmeden üretime çıkmak
• Loglama ve denetim izini sonradan düşünmek
• RAG veri kalitesini ihmal etmek
• Kullanıcı eğitimini ve değişim yönetimini atlamak

10. Sıkça Sorulan Sorular

On-premise AI mı, bulut AI mı daha doğru?

Kuruma göre değişir. Veri egemenliği, düşük gecikme ve uyumluluk önceliği yüksekse on-premise yaklaşım daha doğru olur. Hibrit mimari de birçok kurum için etkili bir seçenektir.

Başlangıç için kaç GPU gerekir?

Kullanım senaryosu ve model boyutuna bağlıdır. Pilot aşamada daha küçük bir kurulumla başlayıp, ölçümlere göre ölçeklemek maliyet açısından en sağlıklı yöntemdir.

KVKK uyumu için ilk adım nedir?

Veri sınıflandırması yapıp kişisel verilerin işlendiği alanları belirlemek gerekir. Ardından erişim politikaları, loglama, maskeleme ve denetim kontrolleri devreye alınmalıdır.

Sonuç

Kurumsal yapay zekâ projelerinde sürdürülebilir başarı; doğru modelden çok, doğru mimariye bağlıdır. On-premise AI yaklaşımı, veri güvenliği ve performans ihtiyacını aynı çatı altında karşılayarak uzun vadeli bir rekabet avantajı sağlar.

Bilgi Sistemleri olarak kurumunuzun mevcut BT altyapısını analiz ediyor; uygun donanım, model, güvenlik ve operasyon tasarımını uçtan uca planlıyoruz.

On-Premise AI Danışmanlığı Alın
Diğer Blog Yazılarını İnceleyin