10 dk okuma26 Ekim 2026

Lokal Yapay Zekâ Kurulumu: Adım Adım Rehber

kısa cevap

Lokal yapay zekâ kurulumu, açık ağırlıklı bir dil modelini Ollama veya LM Studio gibi bir araçla kendi bilgisayarınızda ya da sunucunuzda çalıştırmaktır. Kişisel denemede birkaç adım yeter; ekibe açılacak kurulumda yetki, belge erişimi, kayıt ve güncelleme de planlanır.

Abdullah KarakuşYayın: 26 Ekim 2026Güncelleme: 26 Ekim 2026

öne çıkanlar

Ollama ve LM Studio modeli çalıştırır; Open WebUI ve AnythingLLM sohbet, belge kullanımı ve ekip erişimi için seçenekler sunar.
Modeli seçerken bellek ihtiyacını, kendi işinizdeki cevapları ve düşünme ayarını birlikte değerlendirin.
Şirket kurulumu, çalışanların hangi belgelere erişeceğini ve verinin hangi bileşenlerden geçeceğini de kapsar.

Lokal yapay zekâ kurulumu nedir?

Lokal yapay zekâ kurulumu, modeli kendi bilgisayarınızda veya kurumunuzun sunucusunda çalışır hâle getirmektir; lokal (yerel) yapay zekâ aynı çalışma biçimini anlatır. Kurumun kendi ortamındaki kurulum için kullanılan on-premise ifadesi de bu kapsamda karşınıza çıkar. Bulut hizmetinde soruyu uzaktaki sağlayıcının modeline gönderirsiniz; yerel kurulumda modeli çalıştıran makineyi ve veri akışını siz belirlersiniz.

Başlangıç için amacınızı somutlaştırın: bir metni özetlemek mi, sözleşmeleri karşılaştırmak mı, çalışanların kurum belgelerinde cevap bulması mı? Bilgisayarda sohbet açmakla çalışanlara belge erişimi vermek farklı işlerdir. İlk denemeyi, doğru cevabını kontrol edebileceğiniz ve hassas bilgi içermeyen bir örnekle yapın.

Bu rehberdeki ölçümlerimiz Ollama ile yapıldı. LM Studio, Open WebUI, AnythingLLM, llama.cpp ve vLLM açıklamaları resmî belgelere dayanıyor; bu araçları test etmedik. Böylece kurulum seçeneklerini incelerken hangi bilginin ölçüm, hangisinin belgelenmiş özellik olduğunu ayırabilirsiniz.

Kurulum akışı: Donanım kontrolü → Araç seçimi → Model indirme → Kendi görevlerinizle test → Arayüz ve yetkiyle ekibe açma.

Lokal yapay zekâ için hangi araçlar kullanılır?

Ollama ve LM Studio modeli çalıştırmak için, Open WebUI ve AnythingLLM ise sohbet ve belge kullanımını düzenlemek için değerlendirilebilir. llama.cpp ve vLLM, sunucu ve uygulama geliştirme tarafında başka seçeneklerdir. API, bir yazılımın başka bir yazılıma istek gönderip cevap almasını sağlayan arayüzdür.

Lokal yapay zekâ için hangi araçlar kullanılır?
Araç	Ne işe yarar?	Arayüz	API veya sunucu modu	Birden çok kullanıcı	Kime uygun?
Ollama	Model indirir, çalıştırır	Uygulama ve terminal	Yerel API	Paralel istek; hesapları ayrıca düzenleyin	Komut ve entegrasyon isteyenlere
LM Studio	Model indirir, sohbet açar	Grafik arayüz	Yerel API sunucusu	Ağdan API erişimi; yetkiyi ayrıca düzenleyin	Ekrandan başlamak isteyenlere
llama.cpp	Model çalıştırma altyapısı	Terminal; sunucuda web arayüzü	llama-server	Paralel istek; kurum yetkisini ayrıca düzenleyin	Teknik ekiplere
vLLM	Modeli HTTP üzerinden sunar	Sunucu odaklı	OpenAI uyumlu API	İstekleri toplu işler; hesapları ayrıca düzenleyin	Sunucu geliştiren ekiplere
Open WebUI	Sohbet ve belge arayüzü	Tarayıcı	Model sağlayıcısına bağlanır; API sunar	Roller ve gruplar	Ortak sohbet ortamı isteyenlere
AnythingLLM	Belgelerle sohbet	Masaüstü veya tarayıcı	Model sağlayıcısına bağlanır	Docker sürümünde kullanıcı rolleri	Belge çalışma alanı isteyenlere

Tablodaki “birden çok kullanıcı”, belirli bir donanımın kaç kişiye yeteceğini söylemez. Kullanıcı hesabı, paralel istek işleme ve cevap süresi ayrı konulardır. Önce kullanım biçimini seçin; daha sonra aynı anda gelecek isteklerle kapasiteyi sınayın.

Ollama ile başlayıp sonradan tarayıcı arayüzü eklemek mümkün. LM Studio ise model arama ve sohbeti grafik arayüzden yürütmek isteyenler için bir seçenek. Bütün araçları birlikte kurmanız gerekmiyor; ilk sorunuz “hangisi daha çok özellik sunuyor?” yerine “benim işim için hangi parçalar gerekiyor?” olsun.

Bilgisayarınız lokal yapay zekâyı çalıştırabilir mi?

Bilgisayarınızın uygunluğu, seçtiğiniz modelin ve kullanacağınız bağlamın bellek ihtiyacına bağlıdır. VRAM, ekran kartının kendi belleğidir. Kuantizasyon, modelin sayısal değerlerini daha az yer tutacak biçimde saklama yöntemidir. Bağlam penceresi, modelin girdi, düşünme ve cevap için bir seferde kullanabildiği toplam alandır. Token ise modelin işlediği, kelimenin tamamı veya bir kısmı olabilen metin parçasıdır. MTP, küçük bir taslak modelin önerilerini ana modele birlikte doğrulatan üretim yöntemidir.

Qwen3.5 ve Gemma 4 hız testimizde tek NVIDIA RTX 3090, 24 GB ekran kartı belleğiyle çalıştı. Düşünme kapalı, bağlam 65.536 token iken qwen3.5:9b kartta 9,7–10,0 GB tuttu. gemma4:26b için MTP kapalı ölçüm 20,5–21,4 GB, MTP açık ölçüm 20,9–21,4 GB idi. Bunlar o paketlerin o testteki değerleri; genel asgari donanım listesi değil.

Ekran kartı her denemede zorunlu değil; Ollama işlemciyle de çalışabiliyor. Biz işlemciyle hız ölçmedik. Yeni donanım almadan önce mevcut bilgisayarınızda seçtiğiniz işi deneyin; modelin açılması, beklediğiniz sürede doğru cevap vereceğini göstermiyor.

Ollama ile lokal yapay zekâ nasıl kurulur?

Ollama ile kurulum, işletim sisteminize uygun uygulamayı yükleyip modeli indirmeniz ve kendi görevinizle denemenizle başlar. Biz testlerde modelleri Ollama üzerinden çağırdık; aşağıdaki komutlar başlangıç denemesi içindir. Uzun testleri çalıştıran puanlama betiklerinin yerini tutmaz.

Ollama’yı yükleyin:
Resmî depodaki Windows, macOS veya Linux indirme ve kurulum yönergesini izleyin. İşletim sisteminize ait paketi seçin.
2
Model indirme:
Belleğinize uygun model etiketini kullanın. Aşağıdaki örnek, test depomuzdaki Gemma paketini indirir.
```
ollama pull gemma4:26b
```
3
İlk sohbeti açın:
Modeli çalıştırın ve kontrol edebileceğiniz kısa bir soru sorun. Bu terminal komutunu Windows’ta PowerShell’den de çağırabilirsiniz.
```
ollama run gemma4:26b
```
4
Bağlamı ayarlayın:
Aşağıdaki satırı terminal kabuğuna değil, açılan Ollama sohbet oturumuna girin. Bu değer hukuk testimizin bağlam ayarıdır; her belge için ideal değer değildir.
```
/set parameter num_ctx 32768
```
5
Örnekleme ayarlarını kontrol edin:
Model kartındaki önerilere bakın; indirdiğiniz paketin ayarlarını da inceleyin. Sıcaklık, cevap üretilirken yapılan seçimlerin değişkenliğini belirler. Model değiştirdiğinizde önceki modelin değerlerini otomatik taşımayın.
```
ollama show --modelfile gemma4:26b
```

API ile çağırın:

Bir uygulamaya bağlamadan önce yerel adrese örnek istek gönderin. Aşağıdaki bash örneği macOS/Linux terminalinde veya Windows’ta Git Bash içinde kullanılabilir.

curl http://localhost:11434/api/generate -d '{
  "model": "gemma4:26b",
  "prompt": "Yerel model denemesi için kısa bir kontrol listesi yaz.",
  "stream": false,
  "think": false,
  "options": {"num_ctx": 32768}
}'

Örnekteki 32.768 token bağlam, Gemma 4 hukuk bürosu testimizde kullandığımız değerdir. Aynı testte düşünme açıkken 18 denemenin 7’si, düşünme ve cevabın ortak 16.384 token çıktı sınırına ulaşıp cevapsız kaldı. Düşünme kapalı modun çıktı sınırı 8.192 token idi. API örneği bu testi tekrarlamıyor; düşünmeyi kapatarak basit bir bağlantı kontrolü yapıyor.

Çalışan modeli ve ayrılan bağlamı görmek için Ollama’nın aşağıdaki komutunu kullanın. Çıktıdaki PROCESSOR alanı modelin işlemcide mi, ekran kartında mı, yoksa ikisine bölünerek mi çalıştığını gösterir.

ollama ps

LM Studio ile grafik arayüzden kurulum nasıl yapılır?

LM Studio ile kurulumda modeli uygulama içinden arayıp indirir, sohbet ekranına yükler ve gerekirse yerel sunucuyu açarsınız. Aşağıdaki akış LM Studio belgelerine dayanıyor; bizim Ollama ölçümlerimizden LM Studio performansı çıkarmayın.

Uygulamayı hazırlayın:
Resmî başlangıç yönergesini ve bilgisayarınız için sistem gereksinimlerini okuyun.
Modeli arayın:
Discover bölümünde model adıyla veya desteklenen modelin Hugging Face adresiyle arama yapın.
Paket seçin:
İndirme seçeneklerindeki kuantizasyonu bilgisayarınızın belleğiyle birlikte değerlendirin; yalnız model ailesinin adına bakmayın.
Kendi görevinizle test edin:
İndirdiğiniz modeli sohbet ekranına yükleyin. Kaynak metni elinizde olan bir soruyu deneyip cevabı karşılaştırın.
Gerekirse sunucuyu açın:
Developer bölümündeki “Start server” anahtarını kullanın. Başka cihazlardan erişim gerekiyorsa ağ erişimini ayrıca yapılandırın.

LM Studio belgesi, model dosyaları indirildikten sonra sohbetin, belge kullanımının ve yerel sunucunun çevrimdışı çalışabildiğini belirtiyor. Model arama ve indirme ise bağlantı gerektiriyor. Çevrimdışı kullanımı planlarken gereken dosyaları önceden hazırlayın; indirme aşamasıyla günlük kullanımı ayrı düşünün.

Ollama etiketini LM Studio’ya aynen yazıp aynı paketi bulacağınızı varsaymayın. Ollama’da kullandığımız paket adı, LM Studio’nun model arama ekranındaki indirme seçimiyle aynı şey değil. Sonuçları karşılaştıracaksanız modelin sürümünü, kuantizasyonunu ve çalışma ayarlarını kaydedin.

Hangi modelle başlamalısınız?

Başlangıç modelini, bilgisayarınıza sığmasına ve kendi görevinizde verdiği cevaba göre seçmelisiniz. qwen3.5:9b, yukarıdaki bellek ölçümünde daha az yer tuttu. Gemma ve LFM2.5 için ise kod ve uzun belge deneyimlerimiz, aynı modelin farklı işlerde farklı sınırlar gösterebildiğini ortaya koyuyor.

Gemma 4 ve LFM2.5 karşılaştırmamızda düşünme açık kod görevlerinde ortalama test geçme oranı Gemma’da %83,2, LFM2.5’te %46,8 oldu. Altı görev, model başına üçer tekrar üzerinden değerlendirildi. Gemma MTP açık çalıştı; LFM2.5 paketinde taslak model yoktu. Burada yazma hızlarını karşılaştırmıyoruz. Bu kod sonucu, Türkçe belge işlerinde aynı sıralamanın çıkacağını göstermiyor.

Hız rakamındaki MTP koşulunu ayrıca kontrol edin. MTP ölçümümüzde gemma4:26b, aynı RTX 3090’da düşünme kapalı JSON çıktısında MTP açıkken 220,1, kapalıyken 104,2 token/sn yazdı. Değerler iki denemenin ortalamasıydı. Saniyede 200 tokenı aşan bu sonuç, Ollama paketindeki taslak model açıkken alındı; her çıktı türünün hızı değildir.

Kurulumu ekibinize nasıl açarsınız?

Kurulumu ekibe açmak için çalışanların kullanacağı arayüzü, kullanıcı hesaplarını ve belge erişimlerini birlikte yapılandırmanız gerekir. Open WebUI, Ollama bağlantısı, tarayıcıdan sohbet, belge kullanımı ve rol/grup yönetimi sunuyor. AnythingLLM’de ise kullanıcı bazlı roller Docker sürümünde bulunuyor; masaüstü uygulamasını bu özelliklerle aynı kapsamda değerlendirmeyin.

RAG, soruyla ilgili belge parçalarını arayıp modele cevap bağlamı olarak sunma yöntemidir. Belge yüklemekle modeli yeniden eğitmek aynı işlem değildir. AnythingLLM belgesi, sohbete eklenen dosyayla çalışma alanına arama için eklenen belgeyi ayırıyor. Kullanım amacınıza göre hangi yolu seçtiğinizi bilin.

Model sağlayıcısını ve bağlantı adresini kontrol edin.
Belge okuma ve arama bileşenlerinin nerede çalışacağını belirleyin.
Çalışanın kendi belgesini görebildiğini, yetkisiz belgeye erişemediğini sınayın.
Cevabın dayanağını kaynak belgeyle karşılaştırın.
Aynı anda gelecek istekleri kendi iş yükünüzle deneyin.

Bu liste, şirket içinde kullanılacak pilotun kontrol noktalarıdır. Bir hukuk bürosunda dosya erişiminin iş kapsamıyla ilişkisini hukuk büroları için yerel yapay zekâ kurulumu sayfamızda anlatıyoruz.

Kişisel kurulum ile şirket kurulumu arasındaki fark nedir?

Kişisel kurulum kendi denemenize odaklanır; şirket kurulumu çalışanların erişimlerini ve sistemin işletimini de kapsar. Bu fark, yalnızca aynı bilgisayara daha fazla kişinin bağlanması değildir. Belgeyi kim yükler, kim okuyabilir, kim silebilir ve bakım sorumlusu kimdir soruları da cevap bekler.

Kişisel kurulum ile şirket kurulumu arasındaki fark nedir?
Başlık	Kişisel kurulum	Şirket kurulumu
Kullanıcılar	Kendi hesabınız ve denemeniz	Çalışan hesapları ve eş zamanlı iş yükü
Yetkiler	Kendi dosyalarınız	Rol ve dosya sorumluluğuna göre izin
Belge erişimi	Seçtiğiniz örnek belgeler	Yetkili belge havuzu ve arama erişimi
Sohbet kaydı	Kendi saklama tercihiniz	Saklama, silme ve inceleme kuralları
Dış bağlantılar	Kullandığınız servisleri kontrol	Bütün bileşenlerde veri akışı kontrolü
Güncelleme	Denemenize göre yönetim	Sürüm etkisi ve bakım sorumlusu
Yedek	Kendi dosyalarınızın kopyası	Geri dönüşte erişim sınırlarının korunması
KVKK	İşlediğiniz veriye göre değerlendirme	Kurumun hukuki ve idari süreçleriyle birlikte değerlendirme

Yerel kurulum tek başına KVKK uyumu sağlamaz. Hizmet kapsamımızda model, belge işleme ve arama bileşenlerini kurum ortamında konumlandırır; erişimleri, kayıtları, yedekleri ve dış bağlantıları planlarız. Kendi belgelerinizle pilotta doğruluğu, kaynakları ve performansı sınarız. Yapılandırma ve işletim sorumluluklarını teslimde yazılı aktarırız.

Bu kapsamı, lokal yapay zekâ kurulum hizmeti sayfamızdaki veri envanteri, model seçimi, pilot, kurulum ve eğitim adımlarıyla değerlendirebilirsiniz. Yazılım ve model lisanslarını donanım maliyetinden ayrı inceleyin; enerji, bakım ve yedekleme giderlerini de hesaba katın. Lisans bedelinin bulunmaması, sistemi işletmenin masrafsız olduğu anlamına gelmez.

Kurulumda en sık hangi hatalar yapılır?

Kurulumda kaçınılması gereken hatalar, bellek ihtiyacını eksik değerlendirmek, model ayarlarını rastgele taşımak ve yerel model seçimini bütün sistemin yerel çalışması sanmaktır. Bizim hukuk testindeki cevapsız kayıtlar da düşünme ayarının ayrıca sınanması gerektiğini gösteriyor. Düşünmeyi açmanın her görevi iyileştireceğini varsaymayın.

Örnekleme ayarlarını keyfî değiştirmek: Önerilen ayarlarla yaptığımız sonraki testlerde değerleri model kartlarından aldık. Eski hız kıyası ise ortak ayarlarla yapıldı; bu koşulları birbirine karıştırmayın.
Bağlamı belgeye göre kontrol etmemek: Belgenin yanında soru, sohbet geçmişi ve cevap için gereken alanı da düşünün. Yalnız dosyanın açılmış olmasına bakmayın.
Cevapsız denemeyi görünmez bırakmak: Tamamlanan cevaplarla birlikte çıktı sınırında duran çağrıları da kaydedin. Düşünme metni, nihai cevap değildir.
Dış servis bağlantısını atlamak: Model yerelde olsa da arayüzün seçtiği model sağlayıcısını ve belge işleme bağlantılarını inceleyin.

Kurulum kaydında model paketini, bağlamı, örnekleme değerlerini, düşünme ve MTP durumunu saklayın. Kendi belgenizde doğru cevapları önceden belirleyin; cevabın tamamlanmasını, kaynaklarını ve bekleme süresini ayrı değerlendirin. Böylece sonraki model veya sürüm değişikliğinde aynı işi yeniden sınayabileceğiniz bir başlangıç kaydınız olur.

Kaynaklar

yazar

Abdullah Karakuş

Dijital Pazarlama Yöneticisi

Abdullah Karakuş, dijital pazarlama ve web teknolojileri alanında 10 yılı aşkın deneyime sahiptir. SEO, GEO, Google Ads, Meta Ads ve web teknolojileri üzerine uzmanlaşmıştır. Yazılım geliştirme geçmişini veri analizi ve performans pazarlaması deneyimiyle birleştirerek dijital görünürlük stratejileri geliştirir. Metot Bilişim'de teknik SEO, içerik optimizasyonu, reklam performansı ve web projelerinin stratejik süreçlerini yönetir.

Bu sayfa en son 26 Ekim 2026'da güncellendi.

Lokal yapay zekâ kurulumu nedir?%0

sss

Sıkça sorulan sorular

Burada cevabını bulamadığınız bir soru varsa doğrudan ekibimize sorabilirsiniz.

Sorunuzu bize iletin

Lokal yapay zekâ internet olmadan çalışır mı?

Model dosyaları indirildikten sonra yerel modelle çevrimdışı çalışabilirsiniz. LM Studio bunu sohbet, belge kullanımı ve yerel sunucu için belgeliyor. Kurulumda bulut modeli, dış belge işleme veya başka bir internet servisi seçerseniz bu bileşenler ayrıca bağlantı gerektirebilir.

Ollama mı LM Studio mu daha iyi?

Terminal komutlarıyla çalışmak ve uygulamanızdan API çağrısı yapmak istiyorsanız Ollama uygun bir başlangıçtır. Modeli arayıp indirmek ve grafik arayüzden sohbet etmek istiyorsanız LM Studio'yu değerlendirebilirsiniz. Bizim ölçümlerimiz Ollama ile yapıldı; iki aracın hızını karşılaştırmadık.

Lokal yapay zekâ kurmak için ekran kartı şart mı?

Her kurulumda şart değil; Ollama işlemcide, ekran kartında veya ikisini birlikte kullanarak model çalıştırabilir. Model ve bellek ihtiyacını bilgisayarınıza göre seçmelisiniz. Biz işlemciyle hız ölçmedik; kendi sonuçlarımız ekran kartıyla çalışan testlere ait.

Lokal yapay zekâ ücretsiz mi?

Yazılımın lisansı ile modelin lisansını ayrı inceleyin; ticari kullanım koşulları aynı olmayabilir. Lisans bedeli olmasa da donanım ve enerji giderleri devam eder. Kurulum, bakım ve yedekleme de şirket bütçesinde ayrı kalemlerdir.

Kendi belgelerimi lokal yapay zekâya nasıl okuturum?

Open WebUI veya AnythingLLM gibi bir arayüzde belge ekleyebilir, RAG ile ilgili belge parçalarını modele sunabilirsiniz. RAG, soruyla ilgili metinleri arayıp cevaba ekleme yöntemidir. Model, belge işleme ve arama bileşenlerinin yerel seçildiğini ve kullanıcı izinlerini ayrıca kontrol edin.

Lokal yapay zekâ ChatGPT kadar iyi mi?

Bunu görevlerinizi denemeden söyleyemeyiz. Bizim testlerimiz yerel modelleri belirli kod ve belge işleriyle sınadı; ChatGPT ile karşılaştırma yapmadık. Doğru cevapları bilinen kendi örneklerinizde doğruluğu, kaynakları, cevabın tamamlanmasını ve bekleme süresini birlikte değerlendirin.

ilgili hizmetler

İlgili hizmetler

blogdan

İlgili yazılar

yerel yapay zekâ
26 Ekim 20268 dk okuma
Lokal Yapay Zekâ Sunucusu: Hangi Donanım?
Lokal yapay zekâ sunucusunda belirleyici bileşen, modelin ve bağlamın sığması gereken ekran kartı belleğidir (VRAM). Testimizde 24 GB'lık tek RTX 3090, qwen3.5:9b'yi 9,7–10,0 GB, gemma4:26b'yi 20,5–21,4 GB kart belleğiyle çalıştırdı; hız farkını model boyutundan çok MTP belirledi.

Sizin İşletmeniz İçin Nereden Başlayalım?

Yeni bir site hazırlamak, mevcut sitenizi geliştirmek veya reklam çalışmalarınızı düzenlemek isteyebilirsiniz. İhtiyacınızı dinleyelim, yapılacak işleri ve uygun başlangıcı birlikte belirleyelim.