Gemma 4 ve LFM2.5: Önerilen Ayarlarla Karşılaştırmalı Benchmark

Gemma verilen kurallara uymada, akıl yürütmede, kodda ve orta boy belgede daha yüksek puan aldı; küçük projedeki dört hatayı da düzeltti. LFM2.5 büyük belgede cevap yazabildi, Gemma yazamadı. Ancak LFM2.5’in bu belgedeki on cevabından yalnızca biri doğruydu.

İki modeli 25 Ekim 2026’da aynı bilgisayarda, kendi üreticilerinin önerdiği ayarlarla çalıştırdık. İşlerin tamamlanıp tamamlanmadığına, cevapların puanına ve bitirme sürelerine baktık.

Bu, Gemma 4 vs LFM2.5: Yerel Yapay Zekâ Testi yazısındaki karşılaştırmadan ayrı bir test. Önceki çalışmada iki model aynı ayarlardaydı; burada üreticilerin önerilerini kullandık. Kurulumları farklı olduğu için iki testin sayılarını yan yana koymuyoruz.

Aynı senaryonun Qwen karşılaştırması Gemma 4 ve Qwen3.6: Önerilen Ayarlarla Benchmark yazısında. Oradaki Gemma sonuçları bu koşudan alındı; Gemma yeniden çalıştırılmadı.

24 GB bellekli tek NVIDIA RTX 3090 ve Ollama 0.40.6 kullandık. Ollama, modelleri kendi bilgisayarınızda çalıştırmanızı sağlayan bir programdır.

Gemma’nın paketi gemma4:26b idi. LFM2.5’i Ollama’da richardyoung/lfm2.5-24b-a2b:latest topluluk paketiyle çalıştırdık; ayarlarını Liquid AI’ın model kartından aldık.

Token, modelin metni işlerken kullandığı, bir kelimenin tamamı veya bir kısmı olabilen küçük parçadır. Bağlam penceresi, modelin girdi, düşünme ve cevap için bir seferde kullanabildiği toplam alandır. İki modelde de bu alanı 131.072 token olarak ayarladık.

• Ön kontrolde iki model de bu bağlamla tamamen ekran kartında çalıştı.
• Görev başına çıktı, süre veya adım sınırı koymadık.
• Bağlam dolunca eski metni silerek devam etme ve sığmayan istemi kırpma özelliklerini kapattık.
• İki modelde de cevap öncesi düşünme açıktı; LFM2.5’te bu özellik kapatılamıyor.

Tekrar döngüsüne girme veya beş dakika veri üretmeme durumları için durdurma kuralları vardı. Proje görevinde tekrarlanan, araçsız veya bozuk işlemler için ek kontroller kullandık. Hiçbiri devreye girmedi; bütün koşu yaklaşık 1 saat 26 dakika sürdü.

Gemma için Google’ın, LFM2.5 için Liquid AI’ın model kartındaki örnekleme değerlerini kullandık. Sıcaklık, modelin cevap üretirken yaptığı seçimlerin ne kadar değişken olacağını belirler. top_p ve top_k, modelin sıradaki metin parçası için değerlendirdiği seçenekleri olasılığa ve sayıya göre sınırlar. Tekrar cezası, modelin aynı ifadeleri yeniden seçmesini zorlaştıran ayardır.

Bu değerlerin dışında ek örnekleme ayarı göndermedik. Ollama paketlerinin taşıdığı değerleri de model kartlarıyla karşılaştırdık; aynıydılar.

Kurallara uyma, iş hesabı, kod doğruluğu, belgeden cevap bulma ve proje düzeltme becerilerini ölçtük. Gizli test, modelin çözüm üretirken görmediği ve tesliminden sonra kodunu sınamak için kullanılan kontroldür. Ajan, dosya okuma, düzenleme ve test çalıştırma gibi araçlarla bir işi adım adım yürüten modeldir.

Talimat ve akıl yürütme Türkçeydi; kod, uzun belge ve ajan görevleri İngilizceydi. Arşivler gerçek müşteri verisinden değil, test için hazırlanmış şirket kayıtlarından oluşuyordu.

Gemma 60 kuralın tamamına, LFM2.5 52’sine uydu. Gemma 20 istemin hepsini, LFM2.5 14’ünü eksiksiz geçti.

LFM2.5 yasaklanan kelimeleri kullandı: iki istemde “özür”, birinde “ucuz”, “indirim” ve “fiyat”, birinde “sorun” ve “bakım”, iş ilanında “genç”, “bayan” ve “dinamik”. Bir JSON yanıtında, yani alan adlarıyla düzenlenmiş veri çıktısında, istenen urun yerine ürün yazdı. Bu yanıt seçilmiş bilgi kontrolünü de geçemedi; başka bir istemde kaynakta verilen dönüş süresini atladı.

Kelime, cümle, madde ve paragraf sayısı gibi diğer 33 biçim kuralını iki model de geçti. Gemma tam puan aldığı için bu görevler onun talimat takibindeki sınırını göstermedi.

Talimat puanı içerik doğruluğunu ölçmüyor. Seçilmiş sayı, tarih ve adların cevapta bulunmasını kontrol ettik; doğru bağlamda kullanılıp kullanılmadıklarını veya metnin niteliğini puanlamadık.

Gemma 20 sorudan 19’unu, LFM2.5 17’sini geçti; LFM2.5’in kayıplarından biri hesap değil, cevap biçimi hatasıydı. İki modelin de kaçırdığı soru ise çağrılma sırasını bulmayı gerektiriyordu.

Yanlış sayılan cevapları ayrı ayrı inceledik. Üçünde de puanı koruduk; ortak yanlışta sorunun ifadesinden kaynaklanan belirsizliği ayrıca belirttik.

Akıl yürütme puanındaki iki soruluk farkın biri sayısal sonuçtan, diğeri teslim biçiminden geliyor. İkisini de yanlış hesap yapılmış gibi okumamak gerekiyor.

Gemma altı görevin dördünde, LFM2.5 ikisinde bütün testleri geçti. Bir çözümün başarılı sayılması için çalışması, beklenen testleri geçmesi ve sürecin hatasız bitmesi gerekiyordu.

İki model de iş kuyruğunu ve Roma rakamları görevini eksiksiz çözdü. Gemma’nın iki C# çözümü de tam puan aldı; LFM2.5’in C# çözümleri farklı nedenlerle başarısız oldu.

• LFM2.5’in hesap makinesi: Kapanış parantezini yanlış tanıyor, sayıları hesaplama aşamasına aktaramıyordu. 1+2 bile çalışmadı; geçen 30 test, hatalı girdiyi reddetme kontrolleriydi.
• LFM2.5’in veri deposu: Yanlış yerde kullanılan noktalı virgül yüzünden kod derlenmedi. Diğer mantık hataları puanı değiştirmedi; çözüm zaten çalışamıyordu.
• LFM2.5’in PHP önbelleği: PHP’nin desteklemediği biçimde bir sınıfın içine başka sınıf yazdı. Dosya yüklenemedi; 47 test çalışamadan başarısız sayıldı.
• Gemma’nın JavaScript düzeltmesi: Özel bir alan adını (__proto__) koruyamadı ve listelerin uzunluğunu karşılaştırmadı. Bu davranışlar istemde açıkça yazıyordu.
• LFM2.5’in JavaScript düzeltmesi: Adres metnindeki + işaretini boşluğa çevirmedi; özel alan adlarında, karşılaştırmalarda ve zamanlanmış çağrıları yönetmede hatalar bıraktı.
• Gemma’nın PHP önbelleği: Kayıt listesini yanlış yönde dolaştığı için yalnızca tek anahtar döndürdü. Aynı hata 13 testin kaybına yol açtı.

On iki çözümün tamamı elle incelendi. Test düzeneğine müdahale, istemde bulunmayan beklenti veya puanlayıcı hatası saptanmadı; puanlar değişmedi. Kodlar geçici klasörde çalıştırıldı; işletim sistemi düzeyinde güvenlik yalıtımı kullanılmadı.

Ana puana katılmayan ölçeklenme kontrollerinde Gemma 2/2, LFM2.5 0/2 aldı; LFM2.5’in ilgili çözümleri çalışmıyordu. Bu kontroller geçen süreye dayanıyordu. Görevlerin test sayıları farklı olduğundan geçen testleri toplayarak model puanı üretmedik.

Hayır; büyük belgede LFM2.5 cevabını tamamladı ama on sorudan yalnızca birini doğru yanıtladı. Gemma ise cevap yazamadan bağlam sınırına ulaştı. Orta boy belgede Gemma 8/10, LFM2.5 4/10 aldı.

Aynı metin, modellerin metni farklı parçalara ayırması nedeniyle farklı sayıda token tuttu. Büyük belgeden sonra Gemma’nın düşünme ve cevap için 47.053 token alanı kalmıştı.

Gemma büyük arşivdeki kayıtları tek tek sayarak düşünmeye devam etti. İlerleyen bu sayım bir tekrar döngüsü değildi; cevap aşamasına geçemeden toplam 131.072 token sınırına ulaştı. Eski metni silerek devam etme kapalıydı; sonuç cevap yok olarak kaydedildi ve 0/10 aldı.

Büyük arşivde hem metin hem de arama ve hesap yükü arttı. İki belge arasındaki puan düşüşünü yalnızca metin uzunluğuna bağlayamıyoruz.

Gemma dört hatayı da düzeltti ve 26 gizli testin tamamını geçti. LFM2.5 üç hatayı düzeltti; para paylaştırma işlevindeki hata kaldı.

İki model de işin bittiğini bildirdi ve görünür testleri geçti. LFM2.5’in kalan kuruşları dağıtan döngüsü ise erken bitiyor ve aynı satırı tekrar seçiyordu. Bu işlevin dokuz gizli testinden dördü geçmedi; beklenen davranış proje belgesinde örneklerle açıklanmıştı.

Gemma çalışırken görünür test dosyasını değiştirdi. Puanlamadan önce özgün dosya geri kondu; değişiklik puanı etkilemedi. LFM2.5 görünür testlere dokunmadı.

LFM2.5 beş bölümün dördünde daha kısa sürede durdu; kod bölümünü Gemma daha kısa sürede bitirdi. Süreleri, teslim edilen işin puanıyla birlikte değerlendirdik.

Gemma, Ollama paketindeki MTP taslak modeli açık çalıştı. MTP, küçük bir modelin sıradaki parçaları tahmin ettiği ve ana modelin bu tahminleri birlikte kontrol ederek üretimi hızlandırdığı yöntemdir. Gemma’nın saniyede 200 token’ı aşan hızı bu hızlandırmadan ve JSON, kod gibi kalıplı çıktıdan geliyor. MTP kapalıyken aynı model bu kartta saniyede 104–109 token yazıyor; LFM2.5 paketinde taslak model yok. Bu nedenle token/sn kıyası yapmıyoruz; ayrıntılar Lokal AI Modellerde MTP Nedir ve Çıktı Türü Hızı Etkiler mi? yazısında.

LFM2.5’in proje görevindeki kısa süresi, eksiksiz teslim anlamına gelmiyor: dört gizli test hâlâ başarısızdı. Kodda ise Gemma hem daha kısa sürede bitirdi hem de daha fazla görevi eksiksiz çözdü.

Bu görevlerde Gemma daha fazla işi eksiksiz teslim etti; büyük belgede ise iki model de düşük puan aldı. Cevap yazabilmek, kurala uymak ve doğru sonuç üretmek ayrı ölçülerdi.

Talimat, akıl yürütme ve kodda LFM2.5’in geçip Gemma’nın kaçırdığı bir görev olmadı. İkisinin de geçemediği bir akıl yürütme sorusu ve iki kod görevi vardı.

• Talimat:

  LFM2.5’in en belirgin kaybı, kullanılmaması istenen kelimelerdi.

• Akıl yürütme:

  İki soruluk puan farkının biri cevap biçiminden kaynaklandı.

• Kod:

  Gemma dört, LFM2.5 iki görevi bütün testleri geçerek çözdü.

• Belge:

  Gemma orta boyda daha çok doğru cevap verdi, büyük belgede cevap yazamadı.

• Proje:

  Gemma bütün hataları düzeltti; LFM2.5’in para paylaştırma hatası kaldı.

Sonuçlar tek donanımda, her görevin bir kez çalıştırıldığı küçük ve elle hazırlanmış bir görev seti için geçerli. Bunlardan genel model sıralaması veya istatistiksel anlamlılık iddiası çıkarmıyoruz.

Doğruluğu, işin tamamlanmasını ve bekleme süresini birlikte ölçmelisiniz. Bu testte görünür kontrolleri geçmek ile bütün hataları düzeltmek, cevap yazmak ile doğru cevap vermek farklı sonuçlar doğurdu.

• s01Model, kullanmamasını istediğiniz kelimeleri gerçekten dışarıda bırakıyor mu?
• s02Belgenizden verdiği cevaplar doğrulanmış kayıtlarla uyuşuyor mu?
• s03Yazdığı kod çalışıyor ve sizin testlerinizi geçiyor mu?
• s04“Bitti” dediğinde işin kabul ölçütleri karşılanmış oluyor mu?
• s05Doğru sonuca ulaşma süresi iş akışınıza uyuyor mu?

Yerel yapay zekâ kurulumu için model seçimini belge erişimi ve kullanıcı yetkileriyle birlikte planlayın. Yapay zekâ danışmanlığı çalışmasında hangi işin hangi ölçütle kabul edileceğini belirleyin. Yazılım geliştirme aşamasında bu ölçütleri entegrasyon testlerine taşıyın.

Depoyu indirip BASLAT.md dosyasındaki adımları izleyerek aynı görevleri kendi kurulumunuzda çalıştırabilirsiniz. Önce modeli çağırmadan düzeneği sınayan denemeyi, ardından ön kontrolü ve asıl testi başlatın.

Başka bir modeli denerken gizli testleri çözüm üreten modele göstermeyin. Bu dosyalar teslimi denetlemek için kullanılıyor.

Puanlar otomatik sonuç raporuna, kod hatalarının açıklamaları elle inceleme kayıtlarına dayanıyor. Ayarların kaynakları üreticilerin model kartları; test kayıtları da depoda bulunuyor.

1. [1]Gemma 4 model kartı — Google AIai.google.dev↗
2. [2]LFM2.5-24B-A2B model kartı — Liquid AIhuggingface.co↗
3. [3]Sonuç raporu ve kod incelemeleri — test deposugithub.com↗