Küçük Model Hızlı mı? Qwen3.5 ve Gemma 4

Hayır: taslak model olmadan qwen3.5:9b ile gemma4:26b aynı hızda yazdı; aynı altı sağlık görevinde ortalama 100,7’ye karşı 104,1 token/sn ölçtük. Gemma’yı iki kat hızlı gösteren şey MTP: Ollama paketindeki taslak modelle 219,4 token/sn’ye çıktı. Gemma yine de daha az token harcadığı için işi erken bitirdi; qwen3.5:9b’nin kazancı yarısından az bellek kullanması. Üç koşuyu 24 Ekim 2026’da tek RTX 3090’da, Gemma 4 sağlık kuruluşu testimizdeki altı görevle yaptık.

Tüm ölçümler düşünme kapalıyken alındı. Gemma’nın iki puanı arasındaki fark tek çağrılık örnekleme farkıdır; bu ölçüm MTP’nin kaliteyi artırdığını ya da düşürdüğünü göstermez.

Düzeltme (24 Ekim 2026): Bu yazının ilk sürümü hız farkını Gemma’nın uzman karışımı (MoE) yapısına bağlıyordu. Gemma’yı MTP kapalı aynı altı görevde koşunca bunun yanlış olduğunu gördük ve yazıyı yeni ölçümle yeniden yazdık.

Düşünme açıkken tablo değişiyor: altı çağrıda Qwen birinde, MTP açık Gemma ikisinde, MTP kapalı Gemma üçünde döngüye girip cevapsız kaldı.

Aynı altı görevi Qwen’e ve Gemma’ya, aynı ayarlarla ve tek RTX 3090’da verdik; Gemma’yı MTP açık ve kapalı olmak üzere iki kez koştuk. Görevler bir sağlık kuruluşunun gündelik işlerini taklit ediyor; belgelerin hepsi kurgusal ve doğru cevaplar baştan belli. Tuzakları ve puan ölçütlerini Gemma yazısında anlattık; modelden istenen iş şu:

Üç koşuda da şunlar aynıydı:

• Sıcaklık 0,3, top_p 0,95, top_k 50
• Bağlam penceresi 65.536 token, düşünme bütçesi 28.672 token
• Q4_K_M kuantizasyon (4 bit civarı ağırlık) ve Ollama 0.40.6
• Her görev ve mod için tek çağrı: bu bir duman testi

MTP açık Gemma, Ollama paketindeki taslak modelle yüklendi. MTP kapalı sürüm aynı ağırlıkları taşıyor; yalnızca Modelfile’daki DRAFT satırı çıkarıldı. Bu ayarlar Qwen’in önerdiği değerler değil; ayrıntısı testin sınırlarında.

Taslak model olmadan qwen3.5:9b ile gemma4:26b aynı hızda yazdı: aynı altı görevde 100,7’ye karşı 104,1 token/sn.

Qwen her görevde saniyede 98 ile 103 token yazdı, MTP kapalı Gemma 102 ile 106 arasında kaldı. MTP açıkken aynı Gemma görevlere göre 205 ile 234 token/sn yazdı, ortalaması 219,4.

İki modelin yapısı farklı, ama bu fark yazma hızına yansımadı. gemma4:26b toplam 25,2 milyar parametreli bir uzmanlar karışımı (MoE) modeli. Ağı, uzman denen alt ağlara bölünmüş ve her token’da yalnızca birkaçı çalışıyor. Google’ın model kartına göre 128 uzmandan 8’i (artı 1 paylaşılan uzman) devreye giriyor; token başına çalışan parametre yaklaşık 3,8 milyar. qwen3.5:9b’yi yoğun (dense) model olarak ele aldık: model kartı her katmanda tek bir ileri besleme ağı tanımlıyor ve uzman sayısı vermiyor. Yani her token’da 9 milyar parametrenin tamamı çalışıyor.

Gemma’nın uzmanlarından her token’da yalnızca küçük bir kısmı çalışıyor:

Token üretirken ekran kartı, çalışan ağırlıkları her adımda bellekten okur; NVIDIA bu aşamayı bellek bant genişliğiyle sınırlı bir işlem olarak tanımlıyor. RTX 3090’ın belleği en çok 936 GB/sn aktarıyor. Parametre başına 0,6 bayt civarı varsayarsak (kabaca hesap, ölçüm değil) Gemma token başına yaklaşık 2,3 GB, Qwen yaklaşık 5,5 GB okur.

Ölçtüğümüz hızlar üst sınırların altında kaldı. Hesap Gemma için 2,4 kat avantaj öngörüyordu; MTP kapalıyken oran 1,03 çıktı (104,1’e karşı 100,7). MTP açıkken görünen 2,2 katı hesabın tutması saymıyoruz, çünkü o fark MTP’den geliyor. Hesabın neden tutmadığını araştırmadık.

qwen3.5:9b ekran kartında 9,7–10,0 GB tuttu; gemma4:26b MTP açıkken 20,9–21,4 GB, MTP kapalıyken 20,5–21,4 GB.

Dosya boyutunun üstüne 65.536 token’lık bağlam penceresi ve çalışma alanı biniyor; iki modelde de bu ek yaklaşık 3 GB tuttu. Qwen’in yanında kartta yaklaşık 14 GB boş yer kalıyor: daha uzun bir bağlama ya da ikinci bir işe yer var. Gemma’nın yanında boşluk yaklaşık 3 GB. Boş yerin neye yeteceğini denemedik; kendi yükünüzle ölçmeniz gerekir.

Metni okumada Qwen biraz daha hızlıydı: metin görevlerinde ortalama 3.971’e karşı 3.368 token/sn (MTP açık Gemma), yani yaklaşık %18. MTP kapalı Gemma 3.652 token/sn okudu; Qwen bu ölçümde de ortalamada önde.

Aynı epikriz dosyasını Qwen 12.055, Gemma 11.646 token’a çevirdi. Belirteçleyiciler (tokenizer) farklı olduğu için sayılar birebir kıyaslanamaz, ama yaklaşık %3,5’lik fark %18’lik avantajı silmiyor.

Görsel görevde durum tersine döndü. Qwen beş belge görselini 9.077 istem token’ına çevirdi, Gemma 2.971’e. Qwen okuma hızında yine önde (1.426’ya karşı 871 token/sn), ama istem üç kat uzun olduğu için görev 15,53 sn’ye karşı 8,58 sn sürdü.

Qwen altı görevde toplam 11.268 çıktı token’ı yazdı, MTP kapalı Gemma 7.973 (MTP açık Gemma 7.996); yani Qwen aynı iş için 1,41 kat daha fazla token harcadı.

Qwen, Gemma ile aynı hızda yazdığı hâlde işi 1,37 kat geç bitirdi: model yüklemesi hariç toplam 141,2 sn’ye karşı 102,8 sn (MTP kapalı). Süre farkı hızdan değil, 1,41 kat fazla token’dan geliyor. MTP açık Gemma aynı işi 63,7 sn’de bitirdi; Qwen’den iki kattan fazla erken. Modelin diskten yüklenmesi yalnızca ilk çağrıda oldu (MTP açık Gemma 8,2 sn, Qwen 3,3 sn); yükleme dahil süreler 144,6 ve 72,0 sn.

Puanda da Qwen geride kaldı: ortalama 0,836’ya karşı MTP kapalı Gemma’da 0,986, MTP açık Gemma’da 0,975. Gemma’nın iki değeri arasındaki fark tek çağrılık örnekleme farkıdır; bu ölçüm MTP’nin kaliteyi değiştirip değiştirmediğini göstermez. Qwen’in geride kaldığı fark iki görevde toplandı; aşağıdaki grafik MTP açık Gemma’yı gösteriyor.

İlaç-doz kontrolünde Qwen 6 çelişkiden 5’ini doğru türle yazdı, birinin türünü karıştırdı ve 3 yanlış alarm verdi. Protokol aramasında 8 cevaplanabilir sorunun 5’inde cevabı eksik ya da yanlış yazdı; eski revizyondan aldığı bir cevap da oldu. Öte yandan arşivde olmayan 3 soruda “bulunamadı” dedi, 3 kapsam dışı soruyu işaretledi ve 14 alıntının hiçbirini uydurmadı. Qwen cevap uydurmadı, ama doğru cevabı da her seferinde bulamadı. Nedenini incelemedik.

1. tekrarda MTP açık Gemma altı görevin ikisinde (protokol araması ve maskeleme) cevap yazamadan döngüye girdi, Qwen birinde (ilaç-doz kontrolü). MTP kapalı Gemma altı çağrının üçünde döngüye girdi.

Qwen’in ilaç-doz kaydında aynı dört satır sürekli dönüyor: Wait, check H01 Ramipril O19 vs R02. Kayıtta “Wait” 98 kez geçiyor. Model yaklaşık 12,1 bin token düşündükten sonra 137,4 sn’de kesildi (token sayısı yaklaşık). Gemma’nın sağlık testinde gördüğümüz döngüleri de buna benziyordu.

Qwen tamamladığı 5 görevde 0,967–1,00 aldı. Gemma’nın döngüye girdiği protokol aramasını ve maskelemeyi ikisinde de 1,00 ile bitirdi. Bu umut verici, ama 6 çağrıdan oran çıkmaz: Gemma’nın 3 tekrarlık tam koşusunda düşünme açık 18 çağrının 7’si döngüye girmişti, Qwen için o sayıyı ölçmedik.

İkisinin de bitirdiği üç görevde (epikriz, mesaj sınıflandırma, taranmış belge) toplam çıktı neredeyse aynıydı: Qwen 21.250, Gemma 21.055 token. Süre 223,5 sn’ye karşı 128,1 sn çıktı. Gemma’nın süresinde 14,2 sn’lik yükleme var; çıkarınca 113,8 sn kalır.

MTP kapalı Gemma’nın düşünme açık tamamladığı üç çağrıda (ilaç-doz, mesaj sınıflandırma, taranmış belge) yazma hızı ortalama 103,2 token/sn oldu; üçü de 1,000 puan aldı. Aynı koşuda MTP açık Gemma 212, Qwen 98,5 token/sn yazmıştı. Altı çağrıdaki üç döngüden oran çıkarılamaz.

Model seçerken hız rakamının MTP gibi bir taslak modelle alınıp alınmadığına, işi bitirmek için harcanan token’a ve doğru cevap başına süreye bakın; dosya boyutu ya da parametre sayısı bunları tek başına söylemez.

Bu kartta qwen3.5:9b hız kazandırmıyor: taslak model olmadan Gemma ile aynı hızda yazıyor, ama daha çok token harcadığı için işi geç bitiriyor. Kazancı bellekte: aynı kartta daha uzun bir bağlama ya da yanında başka bir işe yer bırakıyor. Düşünme açıkken daha az döngüye girmesi umut verici, ama bunu sağlam bir sonuca çevirmek için her görevi birkaç kez koşmak gerekir.

Hangi modelin sizin belgelerinizde nasıl davrandığını kendi örnek belgelerinizle ölçerek görürsünüz. Yerel yapay zekâ kurulumunda bu ölçümü kuruluşun kendi belgeleriyle ve doğru cevabı baştan bilinen görevlerle yapıyoruz; kapsamı ve güvenceleri sağlık kuruluşları için yerel yapay zekâ kurulumu sayfasında anlattık.

Qwen3.5 9B’nin kayıtları Gemma’nın sağlık testiyle aynı depoda; depoyu klonlayıp README’deki komutları izlemeniz yeterli.

Kullanırken kaynak olarak Metot Bilişim (metotbilisim.com) belirtmeniz yeterli.

1. [1]Qwen3.5-9B model kartı — Hugging Face (Qwen)huggingface.co↗
2. [2]qwen3.5 — Ollamaollama.com↗
3. [3]Gemma 4 model kartı — Google AIai.google.dev↗
4. [4]GeForce RTX 3090 ve 3090 Ti — NVIDIAnvidia.com↗
5. [5]NVIDIA GeForce RTX 3090 Review — HotHardwarehothardware.com↗
6. [6]Mastering LLM Techniques: Inference Optimization — NVIDIA Teknik Blogdeveloper.nvidia.com↗