Gemma 4 ve Qwen3.6: Önerilen Ayarlarla Benchmark

Qwen akıl yürütmede ve büyük belgede daha çok doğru cevap verdi; Gemma kodda daha çok görevi eksiksiz çözdü. Talimatta ve orta boy belgede sonuçlar eşitti. Küçük bir yazılım projesindeki dört hatayı da ikisi düzeltti; Qwen daha kısa sürede bitirdi.

Karşılaştırma 25 Ekim 2026 tarihli kayıtlara dayanıyor. Gemma 4 26B ile Qwen3.6-35B-A3B’ye aynı görevleri verdik ve her modelde üreticisinin önerdiği ayarları kullandık.

İşletme açısından ayrım, modelin hangi işi teslim edebildiğinde yatıyor. Qwen bir bulmacada Gemma’nın kaçırdığı cevabı buldu; buna karşılık altı kod görevinin yalnızca birini eksiksiz çözdü.

Testte 24 GB bellekli tek NVIDIA RTX 3090 ve Ollama 0.40.6 kullandık. Ollama, modelleri kendi bilgisayarınızda çalıştırmanızı sağlayan bir programdır.

Gemma’yı bu karşılaştırma için yeniden çalıştırmadık; sonuçlarını aynı günün Gemma–LFM koşusundan aldık. O koşuda aynı makine, aynı Ollama sürümü, aynı görev ve puanlayıcı dosyaları kullanılmıştı. Ayrıntılar Gemma 4 ve LFM2.5: Önerilen Ayarlarla Karşılaştırmalı Benchmark yazısında.

Gemma için gemma4:26b, Qwen için hf.co/unsloth/Qwen3.6-35B-A3B-GGUF:UD-IQ4_XS paketini kullandık. IQ4_XS, modelin sayısal verilerini daha az yer tutacak biçimde sıkıştıran paket türüdür. Qwen paketi resmî Qwen dosyası değil, Unsloth’un sıkıştırılmış GGUF sürümüydü ve Ollama’da 18 GB tutuyordu.

MoE, modelin bütün parametreleri yerine her metin parçasında seçili uzman bölümlerini çalıştıran mimaridir. Qwen’in toplam 35 milyar parametresinin yaklaşık 3 milyarı her parçada çalışıyor; paket bilgisi toplamı 34,7 milyar olarak veriyor. Paketteki görüntü işleme bileşenini kullanmadık.

Token, modelin metni işlerken kullandığı, bir kelimenin tamamı ya da bir kısmı olabilen küçük parçadır. Bağlam penceresi, modelin girdi, düşünme ve cevap için bir seferde kullanabildiği toplam alandır. İki modelde de bu alanı 131.072 token olarak ayarladık.

• Ön kontrolde iki model de tamamen ekran kartında çalıştı; Qwen yaklaşık 20,4 GB yer tuttu.
• Görev başına çıktı, süre veya adım sınırı koymadık; tek uzunluk sınırı 131.072 token bağlamdı.
• Bağlam dolunca eski metni silerek devam etme ve istemi kırpma özelliklerini kapattık.
• İki modelde de cevap öncesi düşünme açıktı; her görevi bir kez çalıştırdık.

Tekrar döngülerine ve yanıtsız kalmaya karşı durdurma kuralları vardı. Son 300 karakter, önceki 30.000 karakter içinde altı kez geçerse çalıştırma duruyordu; istemden alıntılarda eşik 12 tekrardı. Beş dakika boyunca veri gelmemesi de durdurma nedeniydi.

Gemma için Google’ın tek önerisini, Qwen için model kartındaki genel ve kesin kodlama önerilerini kullandık. Sıcaklık, modelin cevap üretirken yaptığı seçimlerin ne kadar değişken olacağını belirleyen ayardır. top_p ve top_k seçenek havuzunu daraltır; min_p düşük olasılıklı seçenekleri eler, ceza ayarları tekrarları etkiler.

Qwen’de kod ve ajan görevlerine kesin kodlama ayarını, talimat, akıl yürütme ve uzun belgeye genel ayarı uyguladık. Ajan, dosya okuma, düzenleme ve test çalıştırma gibi araçları kullanarak bir işi adım adım yürüten modeldir. Buradaki işi kod düzeltmek olduğu için kodlama ayarını seçtik; bu eşleme bizim kararımızdı.

Gemma’nın Ollama paketi önerilen değerleri zaten taşıyordu. Qwen paketi örnekleme değerlerini taşımadığı için ayarları her istekle gönderdik.

Qwen kartının 32.768 token çıktı önerisini uygulamadık; kart zor kod ve matematik için 81.920 token da öneriyor. Testte görev başına çıktı sınırı yoktu; iki model için tek sınır 131.072 token bağlamdı.

Talimat takibini, akıl yürütmeyi, kod doğruluğunu, uzun belgeden cevap bulmayı ve araçlarla proje düzeltmeyi ölçtük. Gizli test, modelin çözüm üretirken görmediği ve teslimden sonra kodunu sınamak için kullanılan kontroldür.

Talimat ve akıl yürütme Türkçeydi; diğer üç bölüm İngilizceydi. Şirket arşivleri gerçek müşteri verisi içermiyordu, test için hazırlanmış kayıtlardı.

Tam puan, verilen kurallara uyulduğunu gösteriyor; metnin içeriğinin doğru olduğunu göstermiyor. İki model de 20 istemin hepsini ve toplam 60 kuralı geçti.

Kelime ve madde sayısı, yasak kelimeler, yapılandırılmış yanıtların alan adları gibi koşulları kontrol ettik. Kaynaktaki belirli sayı, tarih ve adların cevapta bulunmasına da baktık. Bu bilgilerin doğru bağlamda kullanılıp kullanılmadığını puanlamadık.

İki model de bütün kuralları geçtiği için bu görevler aralarındaki farkı ortaya çıkaramadı. Gemma işi 7 dakika 19 saniyede, Qwen 11 dakika 4 saniyede bitirdi.

Qwen, altı kişinin çağrılma sırasını soran bulmacada cevabın belirlenemeyeceğini doğru buldu. Böylece 20 sorunun hepsini geçti; Gemma 19 doğru cevapta kaldı.

Sorudaki kurallara uyan beş sıralama vardı. Altıncı sırada Oya da Kaan da olabildiği için tek bir isim verilemiyordu. Gemma, “Ayşe, Kaan ile Burak arasında çağrılıyor” cümlesini bu üç kişinin art arda çağrıldığı şeklinde yorumladı ve “Oya” dedi.

Qwen doğru cevaba ulaşmak için yaklaşık 64.300 token düşünme metni üretti ve 9 dakika 36 saniye harcadı. Bölümün tamamı Qwen’de 33 dakika 31 saniye, Gemma’da 12 dakika 9 saniye sürdü. Diğer 19 soruyu ikisi de doğru cevapladı.

Gemma altı görevin dördünde bütün testleri geçti; Qwen bunu yalnızca Roma rakamları görevinde başardı. Başarılı sayılmak için kodun çalışması, beklenen testlerin hepsini geçmesi ve sürecin hatasız bitmesi gerekiyordu.

İki modelin altışar çözümü elle de incelendi. Test düzeneğine müdahale, istem dışı beklenti veya puanlayıcı hatası bulunmadı; puanlar değişmedi. Qwen’in eksikleri yalnızca yanlış hesaplardan oluşmuyordu: iki çözüm derlenmedi, bir görevde hiç kod çıkmadı.

Gemma da iki görevi eksiksiz çözemedi. JavaScript çözümü özel anahtarları koruma ve seyrek dizileri karşılaştırma kontrollerinde kaldı. PHP önbelleği ise anahtar listesini yanlış yönde dolaştığı için 13 testi geçemedi.

Ana puana katılmayan iki ölçeklenme kontrolünde Gemma 2/2, Qwen 0/2 aldı. Qwen’in ilgili çözümleri çalışmadığı için bu kontrollerden de puan çıkmadı. Görevlerin test sayıları farklı olduğundan bunları toplayarak model puanı üretmedik.

Qwen büyük belgede cevap yazdı ama 10 sorunun yalnızca dördünü tam doğru yanıtladı; Gemma hiç cevap yazamadı. Orta boy belgede ikisi de 8/10 aldı.

Büyük belge yüklendikten sonra düşünme ve cevaba Gemma’da 47.053, Qwen’de 45.674 token yer kalmıştı. Gemma kalan alanı düşünmeye harcadı ve 131.072 token sınırına ulaştı. Eski metni silerek devam etme kapalı olduğu için cevap yazamadan durdu.

Qwen daha az boş alanla cevabını tamamladı; yine de altı sorusu yanlış kaldı. Belge büyürken aranacak kayıtlar ve yapılacak hesaplar da arttı. Sonuçtaki değişimin ne kadarının yalnızca metin uzunluğundan geldiğini bu testle ayıramıyoruz.

Evet, iki model de küçük projedeki dört hatayı düzeltti ve 26 gizli testin hepsini geçti. Özgün projedeki dört görünür test de iki modelde geçti. Qwen 15 adımda, 2 dakika 17 saniyede; Gemma 25 adımda, 5 dakika 38 saniyede bitirdi.

Gemma çalışırken görünür test dosyasını değiştirmişti. Puanlama için özgün dosya geri kondu; bu yüzden değişiklik sonucu etkilemedi. Qwen görünür testlere dokunmadı.

Projede ilerlemeyen işlemleri durdurmak için ek kurallar vardı. Değişmeyen dosyalarda aynı araç çağrısının altıncı tekrarı, art arda dört araçsız yanıt veya üst üste üç bozuk araç çağrısı çalışmayı durduruyordu. Bu tek küçük proje, modellerin bütün ajan işlerinde nasıl davranacağını göstermiyor.

Gemma talimat, akıl yürütme ve kodu; Qwen uzun belge ve ajan görevini daha kısa sürede bitirdi. Karşılaştırmada saniyedeki token sayısını kullanmadık.

Gemma, Ollama paketindeki MTP taslak modeli açık çalıştı. MTP’de küçük bir model sıradaki parçaları tahmin eder, ana model bu tahminleri birlikte kontrol ederek üretimi hızlandırır. Gemma’nın saniyede 200 token’ı aşan hızı bu hızlandırmadan ve JSON, kod gibi kalıplı çıktıdan geliyor. MTP kapalıyken aynı model bu kartta saniyede 104–109 token yazıyor; Qwen paketinde taslak model yok. Ayrıntılar Lokal AI Modellerde MTP Nedir ve Çıktı Türü Hızı Etkiler mi? yazısında.

Süreyi teslim edilen sonuçla birlikte değerlendirmek gerekiyor. Gemma büyük belgede daha uzun çalışmasına rağmen cevap yazamadı. Ajan görevinde ise ikisi de bütün testleri geçtiği için Qwen’in kısa süresi aynı başarılı sonuca karşılık geliyor.

Bu görevlerde tek bir model her alanda öne çıkmadı; doğru cevap, çalışan kod ve bekleme süresi ayrı ayrı değerlendirilmeli. Akıl yürütmedeki tek doğru cevap farkı ile koddaki eksiksiz görev farkı aynı ölçü değil.

• Akıl yürütme:

  Qwen bir soruyu daha doğru cevapladı; bölüm süresi daha uzundu.

• Kod:

  Gemma dört görevi, Qwen bir görevi bütün testleri geçerek çözdü.

• Belge:

  Orta boyda sonuç eşitti; büyük belgede yalnız Qwen cevap yazdı, dört doğru cevapta kaldı.

• Küçük proje:

  İkisi de bitirdi; Qwen daha az adımda ve daha kısa sürede tamamladı.

Kendi işinizde hangisinin önemli olduğuna siz karar verirsiniz. Büyük belgede bunu açıkça gördük: cevap yazabilmek ile doğru cevap vermek aynı şey değil.

Tek donanım, her görevin tek çalıştırması ve küçük bir görev seti sonuçların kapsamını sınırlıyor. Bu kayıtlardan genel model üstünlüğü veya istatistiksel anlamlılık iddiası çıkarmıyoruz.

Bu sınırlar özellikle satın alma ve kurulum kararında önemli. Burada geçen bir görev, şirketinizin farklı belge veya yazılımlarında aynı sonucun alınacağını kanıtlamıyor.

Kendi belgelerinizden ve işlerinizden küçük bir görev seti seçip doğruluğu, tamamlanmayı ve süreyi birlikte ölçmelisiniz. Bu testteki farklar, yalnızca modelin cevap vermesine bakmanın yeterli olmadığını gösteriyor.

• s01Belge görevinde cevap yazabiliyor mu, kaç cevabı doğrulanmış kayıtlarla uyuşuyor?
• s02Ürettiği kod çalışıyor ve sizin testlerinizi geçiyor mu?
• s03Projede işin bittiğini söylediğinde bütün kontroller gerçekten geçiyor mu?
• s04Aynı işi tekrar verdiğinizde sonuç değişiyor mu?
• s05Doğru sonuç için beklediğiniz süre iş akışınıza uyuyor mu?

Yerel yapay zekâ kurulumu sırasında model seçimini belge erişimi ve kullanıcı yetkileriyle birlikte planlamak gerekiyor. Yapay zekâ danışmanlığı hangi işlerin ölçülmeye değer olduğunu belirlemeye, yazılım geliştirme ise modelin mevcut uygulamalara bağlanmasına yardımcı olur. Kabul edeceğiniz başarı ölçüsünü bu çalışmalardan önce belirleyin.

Depoyu indirip BASLAT.md adımlarını izleyerek testi kendi makinenizde çalıştırabilirsiniz. Önce modeli çağırmadan düzeneği sınayan python calistir.py --mock komutunu, ardından python calistir.py --on-kontrol komutunu kullanın. Asıl çalıştırma python calistir.py ile başlıyor; bizde yalnız Qwen koşusu yaklaşık 1 saat 20 dakika sürdü.

Başka bir modeli denerken gizli testleri modele göstermeyin. Kayıtlar 25 Ekim 2026 tarihli sonuçları içeriyor; aynı sayıları yeniden alacağınızı garanti etmiyor.

Puanlar otomatik sonuç raporuna, hata açıklamaları iki modelin kod çözümlerine ait elle inceleme notlarına dayanıyor. Üretici ayarlarının ve kullanılan Qwen paketinin kaynakları da erişime açık.

1. [1]Qwen3.6-35B-A3B model kartı — Qwenhuggingface.co↗
2. [2]Gemma 4 model kartı — Google AIai.google.dev↗
3. [3]Qwen3.6-35B-A3B-GGUF paketi — Unslothhuggingface.co↗
4. [4]Sonuç raporu ve elle inceleme kayıtları — test deposugithub.com↗