Gemma 4 ile Sağlık Kuruluşu Testi: Sonuçlar

Düşünme kapalıyken gemma4:26b, altı sağlık kuruluşu görevinin dördünde 1,00 puan aldı; ilaç-doz kontrolünde 6 çelişkinin 6’sını buldu ama yanlış alarm da verdi, maskelemede 42 kişisel verinin 41’ini yakaladı. Test, 24 Ekim 2026’da tek bir RTX 3090’da, tamamen kurgusal belgelerle yapıldı ve her görev üç kez çalıştı.

Üç gösterge sıfır çıktı: epikrizde dosyada olmayan kayıt yok, kaçan acil mesaj yok, protokol aramasında eski revizyondan alınmış cevap yok. Cevabı arşivde bulunmayan 3 soruda model her seferinde “bulunamadı” dedi.

Bu tablo “model sağlık kuruluşunun işini yapar” demek değil. Tanı, tedavi, triyaj ve klinik isabeti ölçmedik; ölçtüğümüz şey, doğru cevabı baştan bilinen ve denetlenebilen işlerdir. Soru şu: bu yardımcı işleri hasta dosyasını kuruluşun dışına çıkarmadan yaptırabilir miyiz? Bu yazı, aynı düzenle yürüttüğümüz hukuk bürosu testinin sağlık kuruluşu karşılığı.

Tek model, tek ekran kartı, altı görev: gemma4:26b’yi Ollama 0.40.6 üzerinden, 24 GB’lık bir RTX 3090’da çalıştırdık. Modele sistem istemi vermedik. Model yayımlandığı hâliyle kullanıldı: ince ayar (fine-tune) yok, RAG yok, kuruluşa özel şablon ya da terim sözlüğü yok.

Belgelerin hepsini bir betik üretti ve doğru cevaplar belge üretilmeden önce tanımlandı: madde listesi, çelişki listesi, kişisel veri listesi. Puanlamayı insan yorumu değil, bu listelerle karşılaştıran otomatik bir betik yaptı.

Altı görevin her biri, kuruluşların gündelik işlerinden birini taklit ediyor:

Tam koşudan önce her görevi bir kez çalıştırdığımız duman testinde puanlayıcıda bir hata bulduk. Model taranmış faturaya “hasta faturası” yazdı, altın cevap “fatura” olduğu için Türkçe ek eşleşmeyi bozdu. Eşleştirmeye en çok dört harflik ek payı koyduk, puanlayıcıyı sınayan öz sınamayı diğer sektör testleri için de yeniden çalıştırdık ve duman testini yeniden puanladık: taranmış belge puanı 0,967’den 1,000’e çıktı. Modeli yeniden çağırmadık, veri ve istem değişmedi.

Sağlık testinde üç şeyi değiştirdik: veriye tuzak kattık, bağlamı ve düşünme bütçesini büyüttük, döngü koruması ekledik. Hukuk bürosu testinde puanlar tavana yakındı ve tavan bilgi vermiyor; bu yüzden her görevde ayırt edici madde payı bıraktık.

• Hukuk testinde ↔ sağlık testindeHukuk testinde bağlam 32.768 token’dı, sağlık testinde 65.536.
• Hukuk testinde ↔ sağlık testindeHukuk testinde düşünme bütçesi 16.384 token’dı, sağlık testinde 28.672.
• Hukukta ↔ sağlıktaHukukta 7 çağrı bütçenin bitmesiyle (length), sağlıkta 7 çağrı döngü kesmesiyle cevapsız kaldı.
• Hukuk testinde ↔ sağlık testindeHukuk testinde döngü koruması yoktu, sağlık testinde çağrılar kendini tekrar edince kesildi.

Düşünme kapalıyken dört görevde puan 1,00 çıktı; ilaç-doz kontrolü 0,90, maskeleme 0,99 aldı. Görevlerin her biri kendi tuzağıyla geldi.

Taslak epikriz: model yedi tuzağın hangisine bastı?

Hiçbirine. Model 22 maddenin 22’sini üç tekrarda da buldu: 4 tanı, 6 ilaç değişikliği, 5 kritik tetkik, 2 konsültasyon ve 5 taburculuk önerisi. Bunlara bağlı 30 alan değeri (eski doz, yeni doz, tetkik değeri, tarih) de doğruydu; dosyada olmayan hiçbir kayıt yazmadı.

Asıl sınav tuzaklardı. Dosyada yedi yanıltıcı kayıt vardı ve model yedisini de epikrize taşımadı:

• s01Aile öyküsünde geçen kalp yetersizliği tanı listesine girmedi.
• s02Yalnızca özgeçmişte yazan hiperlipidemi tanı listesine girmedi.
• s03Babanın kullandığı ilaç (digoksin) hastanın ilaç değişikliklerine karışmadı.
• s04Aynı gün girilip iptal edilen order (spironolakton) uygulanmış değişiklik sayılmadı.
• s05Önceki yatıştan kalan HbA1c sonucu bu yatışın kritik tetkikleri arasına girmedi.
• s06Referans aralığında olduğu hâlde notta “takip” yazan magnezyum kritik sayılmadı.
• s07Diyetisyen görüşmesi hekim konsültasyonu olarak listelenmedi.

Dosya 14 belgeden oluşuyordu ve sırasız geliyordu: yatış notu, vizit notları, order listesi, laboratuvar tabloları, iki konsültasyon, hemşire özeti ve taburculuk planı. Toplam 11.646 token tuttu; model onu yaklaşık 3,2 saniyede okudu (hesap: 11.646 token ÷ 3.610 token/sn), görev 8,7 saniyede bitti.

İlaç ve doz tutarlılığı: model neden olmayan çelişkiyi de yazdı?

Çünkü kesilme ve yeni order tarihlerini yoklarken sınırı fazla geniş tuttu. Görevde 64 kayıt vardı: hekim orderları, hemşire uygulama kayıtları ve taburculuk reçeteleri. Model 6 çelişkinin 6’sını üç tekrarda da buldu ve türünü hiç yanlış yazmadı: iki doz farkı, bir ilaç farkı, bir sıklık farkı ve kesilmesine rağmen devam eden iki ilaç.

Dört tuzağa da alarm vermedi: gerekçesi yazılı insülin artışı, aynı ilacın etken adıyla ve ticari adıyla yazılması, “gerektiğinde” orderı ve 500 mg ile 0,5 g farkı. Zayıf nokta fazladan alarmdı: üç tekrarda toplam 4 yanlış alarm geldi, kesinlik ortalaması 0,82’ye indi. Puan 0,86 ile 0,92 arasında kaldı, ortalaması 0,90 oldu.

Hasta mesajları: dolaylı anlatılan acili yakaladı mı?

Yakaladı. 40 mesajın 40’ı doğru kategoriye gitti, kategorisi belli 36 mesajın 36’sında doğru birimi seçti, 4 belirsiz mesajın dördünde model tahmin yürütmeyip “belirsiz” yazdı. Acil bayrağı 6 mesajın 6’sında doğruydu; acil olmayan 34 mesajın hiçbirine bayrak koymadı.

İki dolaylı örnek öne çıkıyor. Biri, babası için rapor belgesi isteyen bir e-posta: ikinci cümlede babanın sözcükleri karıştırdığını ve yakınlarını tanımakta zorlandığını anlatıyor. Model kategoriyi “rapor ve belge talebi” bırakıp mesajı yine de acil işaretledi. Diğeri, yeni başlanan bir ilaçtan sonra soluk almak için cümle ortasında duran ve dudakları morarmış gibi görünen bir hastayı anlatan e-posta: model onu ilaç yan etkisi kategorisine koyup acil işaretledi.

Ters yönde de iki tuzak vardı. Bir web formu “acil değil ama” diye başlayıp rapor nüshası istiyor; bir fatura e-postası geçen ayki acil servis ziyaretinden söz ediyor. İkisinde de durum acil değildi ve model ikisini de acil saymadı.

Protokol arşivi: model eski revizyona kanar mı?

Kanmadı. Arşivde 9 belge ve 14 soru vardı: 8 cevaplanabilir, 3 cevaplanamaz, 3 kapsam dışı. Model hepsini doğru ele aldı. 8 cevaplanabilir sorunun 8’ine doğru cevap verdi; arşivde olmayan 3 soruda her seferinde “bulunamadı” dedi. Tanı ya da tedavi kararı isteyen 3 soruda (bir antibiyotik seçimi, bir vankomisin dozu, bir “kalp krizi mi reflü mü” sorusu) cevap yerine kapsam dışı işareti koydu; bunu 9 çağrının 9’unda yaptı. Verdiği 24 alıntının 24’ü arşivde birebir geçiyordu.

Arşivde “hasta düşmelerini önleme” prosedürünün iki revizyonu vardı. Revizyon 2 hekim değerlendirmesi için 60 dakika, risk değerlendirmesinin yenilenmesi için 48 saat yazıyordu; Revizyon 3’te bunlar 30 dakika ve 24 saatti. Model bu iki soruda, 6 yanıtın 6’sında güncel revizyonu esas aldı.

Kişisel veri maskeleme: hangi veri açıkta kaldı?

Bir doğum tarihi. Model 42 kişisel verinin 41’ini her tekrarda maskeledi: 12 ad-soyad, 5 T.C. kimlik no, 5 protokol no, 5 SGK sicil no, 4 telefon, 4 adres, 3 e-posta ve 4 doğum tarihinin 3’ü. Aşırı maskeleme sıfırdı: ilaç adı ve dozu, tetkik değeri, tanı adı, “Uzm. Dr.” unvanı, kurum ve klinik adı, yönetmelik adı ile işlem tarihi gibi korunacak 8 öğenin hiçbiri silinmedi. Aynı kişi her geçtiğinde aynı etiketi aldı (etiket tutarlılığı 1,00), çıktıdaki 291 etiketin 291’i doğru türdeydi ve metnin geri kalanı yüksek oranda aynen korundu (benzerlik 0,999).

Taranmış belgeler: bulanık raporu okuyabildi mi?

Okudu. Beş kurgusal belge (reçete, laboratuvar sonuç formu, sevk formu, istirahat raporu ve hasta faturası) taranmış görüntü olarak verildi; istirahat raporu bilerek bulanık ve eğik bırakıldı. Her belgede 6 alan istendi: belge türü, kurum, belge no, tarih, hasta adı ve belgeye göre tek bir kritik değer (ilaç dozu, KRİTİK işaretli test sonucu, gün sayısı ya da genel toplam). 30 alanın 30’u doğruydu; bulanık raporun 6 alanı da.

Düşünme açıkken de bu görev sorun çıkarmadı: 3 çağrının 3’ü cevap yazdı ve 90 alanın 90’ı doğruydu; ortalama süre 8,2 saniyeden 16,9 saniyeye çıktı.

Düşünme açıkken 18 çağrının 7’si cevap yazmadan döngüye girdi ve kesildi. Hukuk testinde de 18 çağrının 7’si cevapsız kalmıştı, ama o zaman neden düşünme bütçesinin (16.384 token) bitmesiydi. Bu turda bağlamı 65.536’ya, bütçeyi 28.672 token’a çıkardık; bütçe bitişiyle kapanan çağrı sıfıra indi, aynı 7/18 bu kez döngüden geldi.

Döngüyle kesilen yedi çağrının hiçbiri bütçeye yaklaşmadı: model yaklaşık 6,4 ile 13 bin token arasında (yaklaşık sayım) düşündü, çağrılar 37,4–72,5 saniye sürdü. Kesme kuralı basit: düşünme metninin son 300 karakteri, son 9.000 karakterde en az 3 kez geçiyorsa çağrı durur. Üç kaydı inceledik; üçü de gerçek bir döngüydü, kesme kuralının yanlış alarmı değildi.

Üç kayıtta ortak nokta aynı: model doğru cevabı büyük olasılıkla bulmuş, ama “bir kez daha kontrol” döngüsünden çıkamamış. Kesme kuralı döngüyü erken durdurdu; çağrıları sürdürseydik kaçının cevap yazıp yazmayacağını bilmiyoruz.

Cevap yazılan açık mod çağrılarında puan kapalı modla aynıydı ya da daha yüksekti: ilaç-doz kontrolünde cevap yazan 2 çağrı yanlış alarm vermeden 1,00 aldı, kapalı modun ortalaması 0,90’dı. İki çağrılık örneklem küçük ve üçüncü çağrı döngüde kaldı; bu yüzden düşünmenin ilaç-doz kontrolünde yardım edip etmediğini bu veriden söyleyemeyiz.

Bu görevler akıl yürütmeden çok doğru okuma, eşleştirme ve kayıt karşılaştırma istiyor. Düşünme çoğu görevde süre ve bütçe harcadı, ek bir kazanç göstermedi.

Yetti. gemma4:26b 65.536 token’lık bağlamla tamamen ekran kartında çalıştı. Okuma hızı yazma hızından çok yüksek olduğu için 14 belgelik epikriz dosyası saniyeler içinde okundu; süreyi asıl cevabın yazılması aldı.

Ollama kendi raporunda model belleğini 1,14 GB gösterdi; bu bir raporlama tuhaflığı olarak kaldı, biz nvidia-smi ölçümünü (20.889–21.443 MB) esas aldık ve GPU payı %100’dü. Düşünme açık satırlarında istem token ortalamasını kullanmadık: kesilen çağrılar 0 sayıldığı için aynı istemde düşük görünüyor. En uzun istem düşünme kapalıyken 11.691 token’dı (protokol arşivi). 24 GB’ın altındaki kartları ve aynı anda birden fazla kullanıcıyı denemedik.

Bu bir bilimsel yayın değil; tek model ve tek donanımda yapılmış kısa bir mühendislik testi. En çok karıştırılan nokta, ölçtüğümüz işle bir sağlık kuruluşunun asıl işi arasındaki fark:

Bunlara beş sınır daha eklenir:

Bu sonuçlar, modelin kutudan çıktığı hâline ait: ince ayar, RAG, kuruluşun şablonları ya da terim sözlüğü kullanılmadı. Gördüğünüz şey bir tavan değil, başlangıç noktası.

Metot Bilişim’in farkı tam bu noktadan sonra başlıyor: modeli kuruluşunuzun kendi belgelerine uyarlıyor, onu genel bir dil modelinden sizin işinizi bilen bir çalışma aracına dönüştürüyoruz. Varsayılan yolumuz kaynaklı aramadır (RAG); hasta verisiyle ince ayar ancak ayrı bir hukuki değerlendirmeden sonra gündeme gelir. Testte gördüğümüz üç zayıflık, bu uyarlamanın nereye dokunduğunu gösteriyor:

• Yanlış alarmı azaltmak:

  Kuruluşunuzun order, uygulama ve reçete örnekleriyle kurulan kurallar ve istemler, kayıtların tarih sırasıyla karşılaştırılmasını sizin kayıt düzeninize göre sıkılaştırır.

• Her dayanağı göstermek:

  Protokolleri modelin hafızasına bırakmak yerine kuruluşunuzun kendi arşivinden arayan bir RAG düzeni, her cevabı kaynak belgelerine ayrı ayrı bağlar.

• Cümle içine gömülü veriyi yakalamak:

  Kuruluşunuzun gerçek yazışma örnekleriyle sınanan model, “doğumludur” gibi akan cümlelerin içine gömülü verileri de yakalamayı öğrenir.

Uyarlamanın etkisini bu testte ölçmedik; onu her kuruluş için kendi örnek belgeleriyle ve bu yazıdaki gibi doğru cevabı baştan bilinen görevlerle ölçüyoruz. Sağlık kuruluşları için kurulum, güvenceler ve kapsam sağlık kuruluşları için yerel yapay zekâ kurulumu sayfasında; genel çerçeve yerel yapay zekâ kurulumu sayfasında.

• Hasta mesajlarını, epikriz taslaklarını ve protokol arşivinizi kuruluşunuzun dışına çıkarmadan işlemek istiyorsanız
• Gelen mesajları birimlere yönlendiren bir kuyruk kurmayı düşünüyorsanız
• Protokol ve SOP arşivinizde kaynak göstererek arama yapan bir sistemi denemek istiyorsanız
• Bir modelin kendi belgelerinizde nasıl davranacağını önce küçük bir pilotta ölçmek istiyorsanız

Bu maddelerden en az biri sizin için geçerliyse Kurulum ihtiyacınızı konuşalım →

Bulgulardan çıkan beş öneri var. Hepsi, çıktıyı bir sağlık profesyonelinin denetleyeceği varsayımıyla yazıldı.

Bu yazıdaki rakamlar bizim testimize aittir. Başka bir kuruluş, başka belgeler ve başka bir donanımla sonuç değişir. Hasta kayıtlarına dokunmadan önce kuruluşunuzun kendi örnek belgeleriyle sınamak ve çıktıyı sağlık profesyonelinin denetiminde kullanmak gerekir.

1. [1]gemma4 — Ollamaollama.com↗