Lokal AI Modellerde MTP Nedir ve Çıktı Türü Hızı Etkiler mi?

MTP (multi-token prediction), ana modelin yanında çalışan küçük bir taslak modelin sonraki birkaç token’ı önceden tahmin ettiği ve ana modelin bu tahminleri tek adımda doğruladığı bir hızlandırma yöntemidir. Evet, taslak model varsa çıktı türü hızı ciddi etkiler: tek RTX 3090’da aynı gemma4:26b JSON’da 220,1, Türkçe düz metinde 137,5 token/sn yazdı. MTP’yi kapattığımızda aynı model aynı kartta her çıktı türünde 104–109 token/sn’de kaldı.

Bu ölçümü, önceki Gemma testlerimizdeki yüksek yazma hızının (216–220 token/sn) nedenini aradığımız için yaptık. Hızın modelden değil, Ollama paketindeki taslak modelle testlerimizin çıktı türünden geldiğini gördük.

Token, modelin metni işlediği küçük birimdir ve yazma hızı saniyede kaç token yazıldığını gösterir.

Speculative decoding (tahminli çözme), büyük modelin her token’ı tek tek üretmesi yerine küçük bir modelin önerdiği token’ları büyük modelin toplu doğrulamasıdır. Yöntemin temel makalesi Leviathan, Kalman ve Matias’a ait (ICML 2023). MTP, aynı fikrin Gemma 4’teki uygulaması: Google’ın belgesine göre taslak model ana modelin gömme tablosunu ve son katman çıktılarını kullanıyor, yani ana modele bağlı çalışıyor.

Ollama’nın gemma4:26b paketinde ana model (17 GB) ve görsel modülün (1,2 GB) yanında 462 MB’lık bir draft katmanı var; paket sayfası bu katman için draft_num_predict değerini 3 gösteriyor. Bizim kurulumumuzda Ollama günlüğü modelin --spec-type draft-mtp --spec-draft-n-max 3 ile yüklendiğini gösterdi: taslak her adımda en çok 3 token öneriyor.

Günlükteki rakamlar basit bir hesapla örtüşüyor: kabul oranı çarpı 3, artı 1. JSON’da 0,997 × 3 + 1 ≈ 3,99, Türkçe düz metinde 0,417 × 3 + 1 ≈ 2,25 çıktı; ikisi de günlükte yazan adım uzunluğu.

Yöntemin çıktıyı değiştirmediği iddiası iki kaynağa dayanıyor. Leviathan ve arkadaşlarının özeti, yöntemin dağılımı değiştirmeden hızlandırdığını yazıyor; Google Research’ün geriye bakış yazısı aynı çıktı dağılımı garantisini yineliyor. Google’ın Gemma 4 duyurusu ise taslak modeller için “kalite kaybı yok” diyor. Biz çıktı kalitesini bu ölçümde karşılaştırmadık; yalnızca hızı ölçtük.

Çünkü taslak modelin önerisi, çıktı kalıplıysa sık, serbest metinse seyrek tutuyor. JSON’da anahtar adları, tırnaklar, virgüller ve parantezler önceden bellidir; kodda girinti ve def, return gibi sözcükler sürekli tekrar eder. Türkçe düz metinde her kelime için birkaç makul seçenek var ve taslak çoğu zaman ana modelden farklı bir kelime seçiyor. Kalıplılığı ayrıca ölçmedik; bu, kabul oranlarının sıralamasıyla uyumlu olan yorumumuz.

Ortalama adım uzunluğu aynı sırayı izliyor: Türkçe düz metinde 2,25 ve 2,13, düşünme metninde 2,73 ve 2,67, kodda 3,52 ve 3,59, JSON’da 3,99. JSON’da ana model her adımda neredeyse dört token yazıyor, Türkçe düz metinde iki civarında.

Aynı farkı öneri sayılarında da görüyoruz. Türkçe düz metinde taslak 1.065 token önerdi, 444’ü tuttu; JSON’da 1.032 öneriden 1.029’u tuttu.

Türkçe denemede ana model 621 öneriyi reddetti. Reddedilen her öneri adımı o noktada keser ve ana model o adımda daha az token yazar. JSON’da reddedilen öneri sayısı 3’te kaldı.

Beş çıktı türünün hepsinde MTP açık sürüm kapalıdan hızlıydı; fark Türkçe düz metinde 1,27 kat, JSON’da 2,11 kat oldu. İki sürümü aynı ağırlıklarla kurduk: gemma4:26b Ollama paketi MTP açık, gemma4-nomtp ise aynı ana modeli ve görsel modülü taşıyan, yalnızca DRAFT satırı çıkarılmış bir Modelfile ile elle oluşturduğumuz sürüm. Ollama günlüğünde gemma4-nomtp’nin yükleme komutunda --spec-type yok; taslak model gerçekten devre dışıydı.

Grafikte iki denemenin ortalaması var. Tek tek değerler ham veride duruyor; örneğin Türkçe düz metinde MTP açık 140,7 ve 134,2 token/sn çıktı.

MTP kapalıyken hız çıktı türüne bağlı değil: beş türün tamamı 104,2 ile 108,8 token/sn arasında. MTP açıkken adım başına JSON’da neredeyse 4 token yazılmasına rağmen hız 4 kat değil 2,11 kat arttı. Taslağın kendi çalışması ve doğrulama adımının tek token’lık adımdan ağır olması bu farkı açıklayabilir; bunu ayrıca ölçmedik.

Hayır: taslak modeli olmayan Qwen3.6-35B-A3B’de düz metin 131,3 ve 131,2, JSON 129,3 ve 128,9 token/sn çıktı. Kontrol olarak bu modeli aynı gün ve aynı ayarlarla ölçtük (UD-IQ4_XS kuantizasyon, 256 uzmandan 8’i çalışıyor).

Qwen3.5 9B’yi bu ölçüm için ayrıca koşmadık; 100,7, sağlık testimizdeki ölçümden geliyor ve günlükte --spec-type yok, yani taslak modeli yok. Aynı sağlık testinin altı görevinde MTP kapalı Gemma 104,1 token/sn yazdı; bu, yukarıdaki 104,2’ye çok yakın. Qwen3.6’da çıktı türü hızı değiştirmedi; Gemma’da hızı, çıktı türüyle taslak modelin birleşimi belirliyor.

Evet: hukuk, sağlık ve Gemma–LFM testlerimizin üçünde de gemma4:26b MTP açık yüklendi; Ollama günlüklerinde yükleme komutunda --spec-type draft-mtp var. Bu testlerin görevleri JSON ve kod çıktısı verdiği için taslak modelin en çok işe yaradığı çıktı türleriydi.

• Hukuk ve sağlık testleri:

  Hukuk bürosu ve sağlık kuruluşu testlerinde Gemma 4 yaklaşık 200 ve 218 token/sn yazdı. İkisinde de görevler JSON çıktılıydı ve rakamlar MTP açıkken ölçüldü.

• Gemma ve LFM karşılaştırması:

  Gemma 4 ile LFM2.5 testinde 222’ye karşı 216 token/sn bulmuştuk. LFM2.5 paketinde taslak model yok; yani LFM’nin ham hızını Gemma’nın MTP’li hızıyla karşılaştırmıştık.

• Qwen3.5 9B ve Gemma:

  Qwen3.5 9B testinde 100,7’ye karşı 219,4 token/sn bulmuştuk. Aynı altı görevde MTP kapalı Gemma 104,1 token/sn yazdı; farkın neredeyse tamamı MTP’den geliyor.

Qwen yazısının ilk sürümü bu farkı uzmanlar karışımı (MoE) yapısına bağlamış, bant genişliği hesabıyla da 2,4 katlık bir oran bulmuştuk. O açıklama yanlıştı ve Qwen yazısını düzelttik. MTP kapalı Gemma ile Qwen3.5 9B arasındaki oran aynı altı görevde 1,03 çıktı (104,1’e karşı 100,7); MTP açık ile kapalı Gemma arasındaki oran 2,11. Hız farkını yaratan asıl etken taslak model. Gemma’nın her token’da daha az parametre çalıştırması doğru olmaya devam ediyor, ama MoE avantajının ölçümde neden görünmediğini araştırmadık.

LFM tarafında da bir düzeltme gerekiyor. MTP kapalı Gemma’yı LFM2.5 ile yeniden yarıştırmadık. “Yazma hızında iki model neredeyse eşit” sonucunu bu yüzden aynı koşullarda ölçülmüş bir eşitlik olarak okumayın.

Önce modelinizde taslak model olup olmadığına bakın, sonra modelleri aynı çıktı türüyle ölçün. Ollama’da modelin Modelfile’ını şu komutla görebilirsiniz:

ollama show --modelfile <model>

Çıktıda DRAFT satırı varsa paket bir taslak model taşıyor. Modeli yüklerken Ollama günlüğündeki yükleme komutunda --spec-type görüyorsanız taslak model çalışıyor demektir. Bu işaretleri bizim gemma4:26b kurulumumuzda gördük; başka paketlerde ve çalıştırıcılarda adlar farklı olabilir.

Bu bir bilimsel yayın değil; tek gün, tek kart ve tek Ollama sürümüyle yapılmış kısa bir mühendislik ölçümü. Sonuçları şu sınırlarla okuyun.

Bir modeli kendi donanımınızda ve kendi belgelerinizle ölçmek, yerel yapay zekâ kurulumunda yaptığımız işin parçası: kurulumda modeli kuruluşun örnek belgeleriyle ve doğru cevabı baştan bilinen görevlerle sınıyoruz.

Ölçüm betiği iki modeli art arda koşar (python mtp_olcum.py gemma4:26b gemma4-nomtp); MTP’siz modeli Modelfile.nomtp ile siz de oluşturabilirsiniz.

Kullanırken kaynak olarak Metot Bilişim (metotbilisim.com) belirtmeniz yeterli.

1. [1]Fast Inference from Transformers via Speculative Decoding — arXiv 2211.17192 (Leviathan, Kalman, Matias)arxiv.org↗
2. [2]Looking back at speculative decoding — Google Researchresearch.google↗
3. [3]Speed-up Gemma 4 with Multi-Token Prediction — Google AI for Developersai.google.dev↗
4. [4]Accelerating Gemma 4: faster inference with multi-token prediction drafters — Googleblog.google↗
5. [5]gemma4:26b — Ollamaollama.com↗