Şirketlerin yapay zeka dönüşümündeki en büyük ikilem şu: genel yapay zeka servislerini (OpenAI, Anthropic gibi) API ile entegre edip hızla ilerlemek mi, yoksa kendi verimizle çalışan izole, açık kaynaklı modeller (Llama, Mistral gibi) kullanmak mı?
Sorumlu bir yönetici ya da geliştirici için şirket verisini, müşteri bilgilerini veya ticari sırları önlem almadan bir yapay zeka servisine göndermek, ciddi bir regülasyon (KVKK, GDPR) ve fikri mülkiyet riski taşır. Bunun en bilinen örneği Samsung'dur: çalışanların gizli kaynak kodlarını genel bir sohbet aracına yapıştırmasının ardından şirket, üretken yapay zeka kullanımını kısıtlamak zorunda kaldı.
Peki veri mahremiyetinden ödün vermeden kurumsal yapay zeka çözümleri nasıl geliştirilir? Genel LLM'ler ile özelleştirilmiş modeller arasındaki farkları ve mimari seçim kriterlerini inceleyelim.
Genel LLM ve özel LLM nedir?
Genel LLM, bir sağlayıcının kendi altyapısında çalıştırdığı ve API üzerinden herkese sunduğu büyük dil modelidir. Özel (private) LLM ise şirketin kendi sunucusunda ya da izole bir bulut ortamında çalışan, gerektiğinde şirket verisiyle uyarlanmış modeldir.
Genel LLM ve özel model karşılaştırması
| Kriter | Genel bulut LLM'i (API) | Özel ve izole LLM (private AI) |
|---|---|---|
| Veri gizliliği | Veri, sağlayıcının altyapısında işlenir | Veri, şirket sunucusunda ya da özel bulutta kalır |
| KVKK / GDPR | Veri işleme sözleşmesi (DPA) ve yurt dışına aktarım değerlendirmesi gerekir | Veri şirket kontrolünde kaldığı için uyum kolaylaşır |
| Sektörel uzmanlık | Genel bilgisi geniş, şirkete özel işte yüzeysel kalabilir | Şirketin jargonuna ve süreçlerine uyarlanabilir |
| Maliyet yapısı | Kullandıkça öde (token bazlı); yüksek hacimde artar | Sabit altyapı / GPU maliyeti; yüksek hacimde birim maliyet düşer |
| Kurulum ve bakım | Anında başlanır; bakım sağlayıcıda | Kurulum, güncelleme ve izleme şirketin sorumluluğunda |
| Ağ bağımlılığı | Yanıt süresi dış servise ve ağa bağlı | İç ağda çalışır; dış servis bağımlılığı yoktur |
Şirket verisini korumak için 2 temel yaklaşım
Özelleştirilmiş bir yapay zeka mimarisinde iki ana teknik kullanılır. İhtiyaca göre ikisi bir arada da kurgulanabilir.
1. RAG (Retrieval-Augmented Generation): arama destekli üretim
Modeli yeniden eğitmek yerine, modelin arkasına şirket içi dokümanlarınızın işlendiği bir arama katmanı (genellikle bir vektör veritabanı) bağlanır.
- Nasıl çalışır? Kullanıcı soru sorduğunda sistem önce şirket içi kaynaklarda arama yapar, ilgili bilgiyi bulur ve modele "yalnızca bu dokümanlara dayanarak cevap ver" talimatıyla iletir.
- Ne zaman tercih edilmeli? SSS, şirket içi prosedürler, ürün katalogları ve sürekli değişen veriler için en hızlı ve en ekonomik çözümdür. Doküman güncellendiğinde yanıt da güncellenir.
RAG, model yerelde de çalışsa genel bir API üzerinden de çalışsa uygulanabilir. oigodesk'teki bilgi bankasına dayalı yanıt bu yaklaşımın sade bir örneğidir.
2. Fine-tuning (ince ayar): modele yetenek kazandırmak
Açık kaynaklı bir dil modelinin parametreleri, şirketinizin ürettiği binlerce kaliteli örnekle (geçmiş temsilci konuşmaları, kod depoları, uzmanlık raporları gibi) yeniden güncellenir.
- Nasıl çalışır? Model yalnızca bilgi öğrenmez; şirketinizin üslubunu, formatını ve jargonunu benimser.
- Ne zaman tercih edilmeli? Belirli bir standartta rapor üretmek, özel bir kod tabanına uygun kod yazmak ya da sektörel jargona tam uyum gerektiğinde.
RAG mı, fine-tuning mi?
Çoğu şirket için doğru başlangıç RAG'dır: daha ucuzdur, daha hızlı kurulur ve veriniz değiştikçe yeniden eğitim gerektirmez. Fine-tuning, modelin ne bildiğinden çok nasıl davrandığını değiştirmeniz gerektiğinde devreye girer. İleri seviye çözümlerde ikisi birlikte kullanılır.
Yapay zeka çağında rekabet avantajınız herkesin eriştiği model değil, yalnızca sizde olan veridir.
Hangi modeli seçmelisiniz? Karar ağacı
Soru 1: Hassas müşteri verisi ya da ticari sır var mı?
- Evet: Bu veriyi ek önlem almadan genel API'lere göndermeyin. Ya kişisel verileri maskeleyip anonimleştirerek ve veri işleme sözleşmesi ile bölge seçimini netleştirerek ilerleyin, ya da kendi sunucunuzda (on-premise) veya özel bulutta (VPC) çalışan açık kaynaklı Llama, Mistral, DeepSeek gibi modelleri RAG mimarisiyle kurun.
- Hayır: Genel metin özetleme, pazarlama içeriği üretimi gibi işlerde OpenAI ya da Anthropic API'leri hız ve maliyet avantajı sağlar.
Soru 2: İşlem hacminiz ne kadar?
- Düşük ya da orta hacim: Token bazlı genel API'ler genellikle daha ekonomiktir; altyapı ve bakım yükü yoktur.
- Aylık milyonlarca token: Token maliyeti hızla büyür. Kendi GPU altyapınızda ya da kiralık bulut GPU'da özel model çalıştırmak, birim maliyeti önemli ölçüde düşürebilir. Karşılaştırmayı GPU, bakım ve ekip maliyetini de içeren toplam maliyetle yapın.
Ara yol: hibrit mimari
Pek çok şirket için en pratik çözüm ikisinin karışımıdır: hassas veriyi işleyen adımlar yerel modelde, genel ve hassas olmayan işler genel API'de çalışır. Arada bir veri maskeleme katmanı, kişisel bilgilerin dışarı çıkmasını engeller.
Sık sorulan sorular
RAG nedir?
RAG (Retrieval-Augmented Generation), dil modelinin cevap üretmeden önce şirketin kendi dokümanlarında arama yapmasını ve yanıtını yalnızca bulduğu bilgilere dayandırmasını sağlayan yöntemdir. Modeli yeniden eğitmeyi gerektirmez.
Fine-tuning nedir?
Fine-tuning (ince ayar), hazır bir dil modelinin şirkete özel örneklerle yeniden eğitilerek üslup, format ve jargonun modele kazandırılmasıdır.
Genel yapay zeka API'leri verilerimi model eğitiminde kullanır mı?
Büyük sağlayıcıların kurumsal API'leri, API üzerinden gönderilen veriyi varsayılan olarak model eğitiminde kullanmadığını belirtir. Ancak veri yine de sağlayıcının altyapısında işlenir; bu yüzden sözleşme koşullarını, saklama sürelerini ve verinin işlendiği bölgeyi kontrol etmek gerekir.
Yapay zeka kullanımı KVKK açısından neye dikkat etmeli?
Kişisel veriler yurt dışındaki bir servise gönderiliyorsa, KVKK'nın yurt dışına aktarım kuralları devreye girer. Kişisel veriyi maskelemek, gereken sözleşmeleri yapmak ya da hassas işlemleri yerel modelde çalıştırmak riski azaltır. Kesin değerlendirme için hukuk danışmanınıza başvurun.
Sonuç: şirketinizin en değerli varlığı veriniz
Yapay zeka çağında gerçek rekabet avantajı, rakiplerinizin de eriştiği genel API'ler değil; yıllardır biriktirdiğiniz kendi özgün verinizdir. Bu veriyi kontrolünüzden çıkarmadan işleyen, güvenli bir yapay zeka mimarisi kurmak stratejik bir zorunluluk.
oigoworks olarak şirketlerin veri gizliliği gereksinimlerine uygun yapay zeka entegrasyonları geliştiriyoruz: RAG ile kendi dokümanlarınızdan cevap veren asistanlar, yerel ya da özel bulutta çalışan modeller ve gerektiğinde şirket verisiyle ince ayar. Doğru yaklaşımı seçmek için özel yazılım mı, hazır yazılım mı? rehberimize de göz atabilirsiniz.