Gemma 4 ile Hukuk Bürosu Testi: Sonuçlar

Düşünme kapalıyken gemma4:26b, altı hukuk bürosu görevinin beşinde hatasız çalıştı. Sözleşme karşılaştırmada 10 değişikliğin 9’unu buldu. Üç tekrarın hepsinde puanlar aynı çıktı. Test, 23 Ekim 2026’da tek bir RTX 3090’da, tamamen kurgusal belgelerle yapıldı.

Üç halüsinasyon göstergesi sıfır çıktı: kronolojide belgede hiç geçmeyen tarih yazılmadı, kaynaklı aramada arşivde bulunmayan alıntı üretilmedi, maskelemede kişisel veri sızmadı. Cevabı arşivde olmayan 3 soruda model her seferinde “bulunamadı” dedi. Uydurma cevap sayısı sıfırdı.

Bu tablo “model hukuk işini yapar” demek değil. Ölçtüğümüz şey, doğru cevabı baştan bilinen ve denetlenebilen işlerdir. Hukuki yorumun isabetini ölçmedik. Bürolar için asıl soru şu: bu tür yardımcı işleri müvekkil dosyasını büronun dışına çıkarmadan yaptırabilir miyiz? Bu konuyu hukuk büroları için yerel yapay zekâ kurulumu sayfasında ele alıyoruz; bu yazı onun için ölçüm kanıtıdır.

Tek model, tek ekran kartı, altı görev: gemma4:26b’yi Ollama üzerinden, 24 GB’lık bir RTX 3090’da çalıştırdık. Modele sistem istemi vermedik. Model yayımlandığı hâliyle kullanıldı: ince ayar (fine-tune) yok, RAG yok, büroya özel şablon ya da terim sözlüğü yok.

Önceki testimizde 80 bin token’lık arşivde model zorlanmıştı; ayrıntısı Gemma 4 ve LFM2.5 karşılaştırmasında var. Bu turda belgeleri bürolardaki günlük iş boyutunda tuttuk: görev başına en çok yaklaşık 11,7 bin token.

Belgelerin hepsini bir betik üretti. Kişiler, kurumlar, dosya numaraları, T.C. kimlik numaraları (sağlama hanesi geçersiz), IBAN’lar ve telefonlar uydurmadır. Doğru cevaplar belge üretilmeden önce tanımlandı: olay listesi, değişiklik listesi, kişisel veri listesi. Puanlamayı insan yorumu değil, bu listeyle karşılaştıran otomatik bir betik yaptı. JSON’u bozuk çıkan çağrılar sıfır puan sayılmadı; “biçim hatası” olarak ayrıca raporlandı.

Dava dosyası kronolojisi

Model 16 olayın 16’sını buldu: üç tekrarın hepsinde F1 1,00. Tarih, sıra ve olayın geçtiği belge doğruydu. Belgede geçmeyen hiçbir tarih yazmadı.

Asıl sınav tuzak tarihlerdi: TBK ve TTK’nın Resmî Gazete yayım tarihi ile başka bir dosyanın emsal karar tarihi metinde geçiyordu ama bu dosyanın olayı değildi. Model üçünü de olay diye listelemedi. Dosya yaklaşık 29 sayfa (11,7 bin token) tuttu; model onu 3,4 saniyede okudu, görev 8,5 saniyede bitti.

Sözleşme sürüm karşılaştırma

Bu görevde puan 0,947 çıktı ve üç tekrarda da aynıydı. Model 10 değişikliğin 9’unu buldu ve hiç yanlış alarm vermedi. Zor sayılan 4 ince değişikliğin 4’ünü yakaladı: “30 gün” yerine “15 gün”, “ve” yerine “veya”, ceza koşulu oranının %10’dan %20’ye çıkması, yetkili mahkemenin değişmesi.

Kaynaklı soru-cevap

12 sorunun 12’si doğru cevaplandı: 9 cevaplanabilir, 3 cevaplanamaz soru. Cevabı arşivde olmayan üç soruda model hep “bulunamadı” dedi. Verdiği alıntıların hiçbiri uydurma değildi; 27 alıntının 27’si arşivde birebir geçiyordu.

Zayıflık kaynak göstermede çıktı. İki belgeyi birleştirmeyi gerektiren sorularda model bazen kaynak olarak yalnızca bir belgeyi gösterdi. Kapalı modda 3 tekrarın ortalamasında, cevaplanabilir 9 sorunun 8,67’sinde kaynak listesi tamdı. Cevap doğruydu; eksik olan, cevabın ikinci dayanağıydı.

Gelen evrak sınıflandırma

30 kısa evrakta model hepsinin türünü, dosya numarasını ve süreli olup olmadığını doğru buldu. Süreli evrak ayrımı büro için en pahalı hata alanıdır: kaçan bir süre kaçan bir haktır. Testte bu alanda kaçan ya da fazladan işaretlenen evrak çıkmadı. Kategori sayısı 8, evrak sayısı 30’du; gerçek bir büronun kategori ve evrak çeşitliliği daha geniş olacaktır.

Kişisel veri maskeleme

40 kişisel verinin 40’ı maskelendi: ad-soyad, T.C. kimlik no, telefon, e-posta, adres, IBAN, plaka, doğum tarihi ve iş yeri adı. Üç tekrarda toplam 120 öğeden hiçbiri çıktıda kalmadı; soyadı ya da sokak adı gibi kısmi sızıntı da olmadı. Korunması gereken 6 öğe (mahkeme adı, kanun maddesi, dosya esas no, “Av.” unvanı, kamu kurumu adı, dava tarihi) yerinde kaldı. Aynı kişi her geçtiğinde aynı etiketi aldı; metnin geri kalanı yüksek oranda aynen korundu (benzerlik 0,998).

Taranmış evrak okuma

Gemma 4 görüntü de anlıyor. 5 kurgusal evrak (tebligat, icra emri, duruşma zaptının ilk sayfası, ihtarname, masraf makbuzu) hafif döndürülmüş, gri tonlu ve gürültülü görsellere çevrildi; biri bilerek bulanık bırakıldı. Her evrakta 6 alan istendi: evrak türü, mahkeme ya da daire, dosya no, tarih, taraf adı, süre veya tutar. 30 alanın 30’u doğruydu; bulanık evrakın 6 alanı da doğruydu.

Düşünme açıkken 18 çağrının 7’si cevap yazmadan bitti. Model düşünme bütçesini (16.384 token) harcadı ve nihai cevabı yazamadı; kayıtta length olarak görünüyor. Bütçenin bitmesi, modelin cevabı bilmediği anlamına gelmiyor: maskelemede düşünme kaydı, aynı maskeleri tekrar tekrar doğrulayan “bir kez daha kontrol” notlarıyla doluydu ve bütçe tükendi.

Maskeleme görevinde 3 çağrının 3’ü cevapsız bitti. Diğer görevlerde birer çağrı. Cevap yazılabilen açık mod çağrılarında puan kapalı modla aynıydı: görev bazında fark 0,000.

Bu görevler akıl yürütmeden çok doğru okuma ve eşleştirme istiyor. Düşünme bu işlerde kalite katmadı; yalnızca süre ve bütçe harcadı. Düşünme bütçesi kavramını ve önceki testteki etkisini Gemma 4 ve LFM2.5 karşılaştırmasında anlattık.

Yetti. gemma4:26b tamamen ekran kartında çalıştı. Okuma hızı yazma hızından çok daha yüksek olduğu için uzun dosyanın okunması saniyeler sürdü; asıl süreyi cevabın yazılması aldı.

Sayfa sayısı bir varsayımdır: sayfa başına 400 token aldık. Gerçek bir belgenin token sayısı yazı tipine, Türkçe ek yoğunluğuna ve tablolara göre değişir. 24 GB’ın altındaki kartları ve aynı anda birden fazla kullanıcıyı denemedik.

Bu sonuçlar, modelin kutudan çıktığı hâline ait. İnce ayar, RAG, büronun şablonları ya da terim sözlüğü kullanılmadı; model hukuk bürosu için hiçbir hazırlık görmeden bu işleri yaptı. Yani gördüğünüz şey bir tavan değil, başlangıç noktası.

Metot Bilişim’in farkı tam bu noktadan sonra başlıyor. İnce ayar ve RAG alanındaki tecrübemizle modeli büronuzun ya da sektörünüzün kendi verisiyle eğitiyor, onu genel bir dil modelinden sizin işinizi bilen bir çalışma aracına dönüştürüyoruz. Testte gördüğümüz zayıflıklar, bu uyarlamanın nereye dokunduğunu da gösteriyor:

• Esaslı değişikliği tanımak: Model “ve” yerine “veya” yazılmasını buldu ama biçimsel saydı. Büronuzun esaslı saydığı değişiklik örnekleriyle eğitilen model, hangi küçük farkın hukuken ağırlık taşıdığını sizin ölçünüzle tartar.
• Her dayanağı göstermek: Kaynağı modelin hafızasına bırakmak yerine büronuzun kendi arşivinden arayan bir RAG düzeni, cevabı her belgeye ayrı ayrı bağlar.
• Büronun dilini konuşmak: Dilekçe üslubunuz, sık kullandığınız sözleşme tipleri ve terim sözlüğünüz modele öğretildiğinde, çıktı ilk taslaktan itibaren büronuzun kaleminden çıkmış gibi okunur.

Uyarlamanın etkisini bu testte ölçmedik; onu her büro için kendi örnek belgeleriyle ve bu yazıdaki gibi doğru cevabı baştan bilinen görevlerle ölçüyoruz. Kurulum ve kapsam yerel yapay zekâ kurulumu sayfasında.

Bulgulardan çıkan dört öneri var. Hepsi, çıktıyı avukatın denetleyeceği varsayımıyla yazıldı.

Bu yazıdaki rakamlar bizim testimize aittir. Başka bir büro, başka belgeler ve başka bir donanımla sonuç değişebilir. Müvekkil dosyalarına dokunmadan önce büronuzun kendi örnek belgeleriyle sınamak ve çıktıyı avukat denetiminde kullanmak gerekir. Rehber tavsiye niteliğindedir; hangi işin hangi risk grubuna gireceğine büro karar verir.

1. [1]Türkiye Barolar Birliği Bilişim ve Teknoloji Hukuku Komisyonu: Avukatlar İçin Yapay Zekâ Kullanımı Tavsiye Rehberi (2026, PDF)d.barobirlik.org.tr↗
2. [2]Türkiye Barolar Birliği: Avukatlıkta Yapay Zekâ Kullanımına İlişkin Tavsiye Rehberi duyurusu (28.08.2026)barobirlik.org.tr↗
3. [3]gemma4 — Ollamaollama.com↗