Lokal Yapay Zekâ Sunucusu: Hangi Donanım?

Lokal (yerel) yapay zekâ sunucusu, dil modelini ve onunla birlikte çalışan arayüz ile belge aramasını kurumunuzun ağında çalıştıran makinedir. Sıradan bir dosya sunucusundan farkı ekran kartıdır. Dosya sunucusunda disk ve ağ hızı öne çıkar; burada modelin çalıştığı ekran kartı belleği belirleyicidir.

Makine bir iş istasyonu da olabilir, raftaki bir sunucu da. Önemli olan model, bağlam ve beklenen kullanıcı yükünün aynı donanıma sığmasıdır.

Donanımı altı etken belirler: model boyutu, kuantizasyon, bağlam penceresi, eş zamanlı kullanıcı sayısı, beklenen yanıt süresi ve belge hacmi. Bu liste, lokal yapay zekâ kurulum hizmeti sayfamızdaki donanım ve maliyet etkenlerine dayanır.

• k01Model boyutu:Parametre sayısı arttıkça model dosyası ve kartta tuttuğu yer büyür.
• k02Kuantizasyon:Ağırlıkların kaç bit ile saklandığı dosya boyutunu değiştirir; bu yazıdaki ölçümde Q4_K_M (4 bit civarı) kullandık.
• k03Bağlam penceresi:Modele aynı anda verdiğiniz metin uzadıkça bellek ihtiyacı artar.
• k04Eş zamanlı kullanıcı:Aynı anda işlenen istek sayısı belleği ve yanıt süresini etkiler.
• k05Yanıt süresi beklentisi:Bekleyebileceğiniz süre, gereken kartı ve modeli belirler.
• k06Belge hacmi:Belge okuma ve arama katmanı işlemci, bellek ve disk ister.

Bu etkenlerin ağırlığı işten işe değişir. Kısa soru-cevap yapan bir asistanla yüzlerce sayfalık dosya özetleyen bir sistem aynı donanımı istemez. Bu yüzden satın almadan önce mevcut sunucuya ve hedef işe bakmak, ekran kartı modeli seçmekten önce gelir.

Model ve bağlam önbelleği aynı belleğe sığmalıdır; sığmazsa sistem yavaşlar. Ollama dokümanına göre bir model yalnız ekran kartında, yalnız sistem belleğinde ya da ikisine bölünmüş hâlde yüklenebilir. ollama ps komutunun PROCESSOR sütunu bunu gösterir. “100% GPU” modelin tamamen kartta olduğunu, “48%/52% CPU/GPU” gibi bir değer bölünmüş yüklemeyi anlatır.

llama.cpp deposu da CPU ve GPU karma çalışmayı anıyor; amacı, toplam VRAM’den büyük modelleri kısmen hızlandırmak.

Bölünmüş yüklemenin ne kadar yavaşlattığını biz ölçmedik. Önerilen ayarlarla yaptığımız benchmark’ta Gemma 4 ve Qwen3.6 tamamen kartta çalıştı; bölünmüş yüklemeyi ölçmediğimiz için “taşarsa yavaşlar” yargısını yalnız dokümana dayandırıyoruz. Bağlam uzunluğu da belleği etkiler: Ollama’nın varsayılan bağlamı 4096 token ve OLLAMA_CONTEXT_LENGTH ile değişiyor. Uzun belgelerde bağlamı büyütmeniz gerekir ve bellek ihtiyacı o ölçüde artar.

NVIDIA, RTX 3090’ın belleğini 24 GB GDDR6X olarak yayımlıyor. Bu kartta iki modeli aynı altı görevle ölçtük: qwen3.5:9b ve gemma4:26b, Gemma’yı MTP kapalı ve açık olmak üzere iki kez. Üç koşuda da düşünme kapalıydı, bağlam penceresi 65.536 token’dı, kuantizasyon Q4_K_M’di ve Ollama 0.40.6 kullanıldı. Süreler model yüklemesi hariçtir ve altı görevin toplamıdır.

Görevler bir sağlık kuruluşunun gündelik işlerini taklit ediyor; belgelerin hepsi kurguydu. Her görev ve mod için tek çağrı koştuk, yani sonuçlar kesin bir sıralama değil, ilk ölçümdür. Testin tamamı Küçük Model Hızlı mı? Qwen3.5 ve Gemma 4 yazısında.

Tek bir rakam yok; model dosyasına bağlam ve çalışma alanı eklenir. Bizim ölçümümüzde dosya boyutunun üstüne 65.536 token’lık bağlam ve çalışma alanı yaklaşık 3 GB bindi. Qwen’in yanında kartta yaklaşık 14 GB, Gemma’nın yanında yaklaşık 3 GB boş yer kaldı. Boş yerin neye yeteceğini denemedik.

Başka testlerimizde de aynı sonucu gördük. Hukuk bürosu testinde Gemma 4 kartın tamamında en çok yaklaşık 20,7 GB kullandı; sağlık kuruluşu testinde bu değer yaklaşık 21,4 GB’tı. Önerilen ayarlarla yaptığımız benchmark çalışmasında Unsloth’un sıkıştırılmış Qwen3.6-35B-A3B paketi (Ollama’da 18 GB) ön kontrolde kartta yaklaşık 20,4 GB tuttu. Bu üç değer farklı testlerin kendi koşullarındaki ölçümleridir; yukarıdaki tabloyla aynı koşuldaymış gibi okumayın. 24 GB’tan küçük kartları hiçbirinde denemedik.

Bağlam penceresi büyüdükçe model aynı anda daha çok metin görür, ama kartta daha çok yer tutar. Ölçümlerimizde 65.536 token’lık bağlam, model dosyasının üstüne yaklaşık 3 GB ekledi; iki modelde de ek benzerdi. Ollama’nın varsayılan 4096 token’ı kısa sohbetler için yeterli olabilir. Birkaç belgeyi birlikte okutacaksanız bağlamı büyütmeniz gerekir ve kart belleğini buna göre hesaplamalısınız.

Bu nedenle “modelim kartıma sığıyor” demek yetmez. Model dosyası sığsa da bağlam eklenince kart dolabilir. Gemma’da bunu gördük: 18 GB’lık dosya, bağlamla birlikte 24 GB’lık kartın yaklaşık 21 GB’ını kullandı ve yanında yaklaşık 3 GB boşluk kaldı. Bağlamı daha da büyütmeyi denemedik.

Hayır. MTP kapalıyken 9 milyar parametreli qwen3.5:9b ile 25,2 milyar parametreli gemma4:26b aynı hızda yazdı: 100,7’ye karşı 104,1 token/sn. Gemma altı görevde daha az token yazdığı için işi erken bitirdi; Qwen 11.268, Gemma 7.973 token yazdı. Qwen’in kazancı bellekteydi.

Bu yüzden donanım seçerken “büyük model yavaş, küçük model hızlı” varsayımı işe yaramıyor. Kartı model dosyasının boyutuna göre değil, çalıştıracağınız işte ölçülen belleğe ve süreye göre seçin.

Eş zamanlı kullanıcı sayısı bellek ihtiyacını artırır, ama biz bunu ölçmedik; tüm ölçümlerimiz tek kullanıcılı. Aşağıdakiler resmî dokümandaki bilgilerdir, testimizin sonucu değildir.

Ollama dokümanına göre OLLAMA_NUM_PARALLEL, bir modelin aynı anda işleyebileceği istek sayısını belirler; varsayılanı 1’dir. Gereken bellek OLLAMA_NUM_PARALLEL ile OLLAMA_CONTEXT_LENGTH çarpımıyla büyür. Doküman bir örnek veriyor: 2K bağlam ve 4 paralel istek, 8K bağlam kadar bellek ister. Yani kullanıcı sayısını artırmak, bağlamı büyütmekle benzer biçimde kartı doldurur.

Kuyruk dolarsa Ollama 503 hatası döndürür. Çok kullanıcılı üretim ortamı için vLLM dokümanı, gelen istekleri sürekli gruplayarak (continuous batching) ve dikkat belleğini PagedAttention ile yöneterek yüksek verim hedeflediğini anlatıyor. Bu araçların sizin kartınızda kaç kullanıcıya yettiği, ancak kendi modelinizle ve belgelerinizle yapılacak bir ölçümle görülür.

Üç seçenek arasındaki asıl fark verinin nerede durduğu ve bakımı kimin yaptığıdır. Tablo, yalnız karşılaştırma ölçütlerini veriyor; rakam içermiyor.

Seçimi şu soru yönlendirir: verinin nerede işleneceğine siz mi karar vermek istiyorsunuz, yoksa bu kararı sağlayıcıyla yazılı sözleşmeye mi bağlayacaksınız? Kendi makinenizde de verinin kurum dışına çıkmaması, yalnız sunucunun yerine bağlı değildir. Dış yedekleme, destek bağlantısı ve belge okuma servisleri bu durumu değiştirebilir. Yerel kurulum KVKK yükümlülüklerinizi de ortadan kaldırmaz; hukuki sebep, aydınlatma ve erişim güvenliği sürer.

Mevcut sunucu yeterli olabilir; karar, hedef iş yükünün incelenmesiyle verilir. Aşağıdaki maddelerden herhangi birinde belirsizlik varsa, yeni donanım almadan önce o noktayı netleştirin:

• Ekran kartı var mı ve belleği (VRAM) çalıştıracağınız modele ile bağlama yetiyor mu?
• Sistem belleği, belge okuma ve arama katmanını da taşıyabiliyor mu?
• Diskte model dosyaları için yer var mı? Bizim paketlerimiz 6,6 ve 18 GB’tı.
• Güç kaynağı ve soğutma, kartın teknik özelliklerindeki gereksinimi karşılıyor mu?
• Sürücü ve CUDA sürümü, kullanacağınız araçla uyumlu mu?
• Ağ, kullanıcıların aynı anda erişmesine yetiyor mu?

Bu kontrol, kuruluma geçmeden önce yapılan bir ön değerlendirmedir. Sonucu “kart var, o hâlde yeter” diye okumayın: aynı kart küçük bir modelle rahat çalışır, büyük bir model ve uzun bağlamla kapasitesinin sınırına dayanır. Önce hedef işi, modeli ve bağlam uzunluğunu belirleyin; ardından mevcut makineyi bu üçüyle karşılaştırın.

Donanımın yanında enerji, soğutma, yedekleme, bakım, lisans koşulları ve genişleme maliyeti hesaba girer. Bu kalemlerin tutarı kuruma göre değiştiği için burada rakam vermiyoruz. Kullanıcı sayısı veya belge havuzu büyürse kart, bellek ve depolama eklemek gerekebilir; genişleme yolunu baştan düşünmek, ikinci bir donanım kararının maliyetini görünür kılar.

Hangi kalemin ne kadar yer tutacağını önceden bilmek zordur; çünkü kullanıcı sayısı, bağlam uzunluğu ve belge hacmi pilotta netleşir. Teklifi pilotta görülen iş yüküne ve kabul ölçütlerine göre hazırlamak daha sağlıklı bir zemin sağlar. Böylece kararı modelin adı ya da sunucunun elde var olması değil, kendi belgelerinizle ölçülen sonuç belirler. Yerel yapay zekâ kurulumunda mevcut sunucunuza, yeni donanım önermeden önce bakarız.

1. [1]GeForce RTX 3090 ve 3090 Ti teknik özellikleri — NVIDIAnvidia.com↗
2. [2]SSS: GPU yükleme, bağlam uzunluğu ve paralel istekler — Ollamadocs.ollama.com↗
3. [3]llama.cpp deposu — ggml-orggithub.com↗
4. [4]vLLM dokümanı — vLLMdocs.vllm.ai↗
5. [5]Gemma 4 MTP belgesi — Google AIai.google.dev↗