Bu yazı, PiMyLifeUp - Running Ollama on the Raspberry Pi kaynağından Türkçe'ye çevrilerek hazırlanmıştır.

Bu yazıda, Raspberry Pi üzerinde Ollama'yı nasıl çalıştıracağınızı göstereceğiz.

Ollama, büyük dil modellerini (LLM) cihazınızda yerel olarak çalıştırmayı nispeten kolaylaştıran bir projedir.

ChatGPT gibi bir aracı kullanmanın aksine, Ollama'nın işlediği tüm istekler seçtiğiniz model kullanılarak doğrudan Raspberry Pi'nizde yerel olarak işlenir.

Ollama'nın kendisi büyük bir dil modeli değildir. Çeşitli açık kaynaklı yapay zeka modellerini hızlı bir şekilde çalıştırmanızı sağlayan bir araçtır. Bu araç, desteklenen bir büyük dil modelinin indirilmesini ve ardından çalıştırılmasını yönetir. Ollama'nın, diğer uygulamalardan etkileşime geçebileceğiniz bir API'si bile vardır.

Desteklediği dil modellerinin listesini görmek için yazılımın resmi web sitesini ziyaret edin. Bir modelin ne kadar büyük olursa, Raspberry Pi üzerinde o kadar yoğun kaynak tüketeceğini unutmayın. Örneğin, TinyLlama yapay zeka modeli ağır Llama3 modeline göre çok daha iyi çalışacaktır.

Ayrıca, 8GB belleğe sahip bir Raspberry Pi 5 kullanarak önemli ölçüde daha iyi bir deneyim elde edersiniz. Dil modellerinin işlenmesi, Pi'nin işlem gücünü ve belleğini hızla tüketir.

Raspberry Pi'nize Ollama Kurulumu

Bu bölümde, Raspberry Pi'nize Ollama'yı kurmak için gereken son derece basit adımları göstereceğiz. Bu süreç, işin neredeyse tamamını bizim yerimize halleden Ollama'nın kurulum betiği sayesinde kolaylaştırılmıştır.

Devam etmeden önce, Ollama'yı kullanabilmek için 64-bit bir işletim sistemi çalıştırıyor olmanız gerektiğini unutmayın.

Ollama İçin Sisteminizi Hazırlama

1. Ollama'yı kurmadan önce, Raspberry Pi'nizin işletim sisteminin güncel olduğundan emin olmalısınız.

Aşağıdaki komutu çalıştırarak paketlerinizi en son sürüme güncelleyebilirsiniz.

sudo apt update
sudo apt upgrade

2. Bir sonraki adımımız için curl paketinin kurulu olduğundan emin olmamız gerekiyor. Genellikle bu, Raspberry Pi ile birlikte gelir, ancak kurulu olup olmadığını doğrulamakta fayda var.

Aşağıdaki komutu çalıştırarak Pi'nizde curl'un kurulu olduğundan emin olabilirsiniz.

sudo apt install curl

Raspberry Pi'nizde Ollama Kurulum Betiğini Çalıştırma

3. Raspberry Pi'miz hazır olduğuna göre, Ollama kurulum betiğini çalıştırmaya geçebiliriz.

Pi'nize Ollama kurmak, terminalde aşağıdaki komutu çalıştırmak kadar basittir. Bu komut, Ollama'dan "install.sh" betiğini indirip doğrudan bash'e aktaracaktır.

curl -fsSL https://ollama.com/install.sh | sh

Böyle bir betiği önce içeriğini doğrulamadan çalıştırmak genellikle kötü bir uygulama olarak kabul edilir. Bu betiğin kodunu favori web tarayıcınızda doğrudan siteye giderek inceleyebilirsiniz.

4. Aşağıdaki komutu kullanarak Ollama'yı Raspberry Pi'mize başarıyla kurduğumuzu doğrulayabiliriz.

Bu komut, Ollama'nın sürümünü terminale yazdırmasını sağlar.

ollama --version

Aşağıda, yazılımın kurulu olduğunu ve şu anda 0.1.32 sürümünü çalıştırdığımızı görebilirsiniz.

ollama version is 0.1.32

Raspberry Pi'nizde Ollama Nasıl Kullanılır

Bu bölümde, Ollama'nın desteklediği çeşitli dil modellerinden bazılarını çalıştırmak için Raspberry Pi'nizde Ollama'yı nasıl kullanabileceğinizi göstereceğiz.

Özellikle, Raspberry Pi'mizde Deepseek, Phi3, TinyLlama ve Llama3 modellerini test edeceğiz. Bunlardan ilk ikisi hafif modeller olması amaçlanmıştır, sonuncusu ise değildir.

Pi'nizden çok fazla şey beklememeniz gerektiğini unutmayın. Yapay zeka modellerini, hele ki çok büyük olanları çalıştırmak için gerçekten tasarlanmamıştır. Gerçekten kullanılabilir bir şey istiyorsanız, daha hafif modellere bağlı kalmaya çalışın.

Raspberry Pi'de Deepseek Çalıştırma

Raspberry Pi'nizde tam Deepseek LLM Modelini çalıştırmak kesinlikle söz konusu olamazken, damıtılmış (distilled) sürümlerinden bazılarını çalıştırabilirsiniz.

Bu damıtılmış sürümler, tam Deepseek-R1 modelini alıp daha performanslı ama daha az doğru ve halüsinasyona daha yatkın bir hale getirir.

Raspberry Pi'nizde Deepseek'ten alacağınız performans, hangi damıtılmış varyantı çalıştırdığınıza büyük ölçüde bağlıdır. Örneğin, daha küçük 1.5b modeli, daha büyük 14b modelinden önemli ölçüde daha iyi performans gösterecektir.

Ayrıca, tercih ettiğiniz model ne kadar büyükse, Deepseek'i çalıştırmak için Raspberry Pi'nizin o kadar fazla RAM'e ihtiyacı olacaktır.

1. Ollama yazılımının Raspberry Pi'nizde Deepseek modelini indirip çalıştırmasını sağlamak, aşağıdaki komutlardan birini kullanmak kadar basittir.

Deepseek'in dört damıtılmış sürümü için komutları, ne kadar iyi çalıştıklarına göre sıraladık. İlki en iyi performansı gösterir, sonuncusu en kötü performansı gösterir ama yine de Pi'nizde bir şekilde çalışabilir durumda kalır.

Deepseek-R1 1.15B

Bu modelin 1.5B damıtılmış sürümünü indirip çalıştırmak için terminalde aşağıdaki komutu kullanın. Bu model en az 1.1GB boş alana sahip olmanızı gerektirir.

Raspberry Pi'de çalıştırabileceğiniz tüm Deepseek varyantları arasında, makul bir yanıt süresine sahip olan tek varyant budur.

Aslında, Raspberry Pi'mizde çalıştırdığımız tüm yapay zeka modelleri arasında, bu belki de en iyi performans gösterenidir.

ollama run deepseek-r1:1.5b

Deepseek-R1 7b

Deepseek'in sunduğu bir sonraki model 7 milyardan fazla parametreye sahiptir. Bu, yapay zeka modelinin kullanması için önemli ölçüde daha fazla veri sağlar. Ancak, en küçük modelden de önemli ölçüde daha yavaştır.

Deepseek'in bu sürümünü Raspberry Pi'nizde çalıştırmak istiyorsanız, yalnızca aşağıdaki komutu çalıştırmanız yeterlidir. Bu mod, Pi'nizde en az 4.7GB boş alana sahip olmanızı gerektirir.

ollama run deepseek-r1:7b

Deepseek-R1 8b

Deepseek-R1 8b modeli, Raspberry Pi 8GB modellerinde çalıştırılabilecek son yapay zeka modelidir. "7b" damıtılmış modele kıyasla bir milyar daha fazla parametreye sahiptir. Bunun daha iyi sonuçlar üretip üretmediği büyük ölçüde kullanım senaryonuza bağlıdır.

Deepseek modelinin bu daha büyük sürümünü çalıştırmak, Raspberry Pi'nizde aşağıdaki komutu kullanmak kadar basittir. 7b modelinden bile daha yavaş hızlara hazırlıklı olun. Bu modelin cihazınızda 4.8GB depolama alanı tüketeceğini unutmayın.

ollama run deepseek-r1:8b

Deepseek-R1 14b

Raspberry Pi'nizde çalışacak Deepseek modelinin son sürümü "14b" damıtılmış varyantıdır. Bu varyantı çalıştırabilmek için bile Raspberry Pi'nin 16GB'lık sürümünü çalıştırıyor olmanız gerekir. Bu, başlangıçta bile 10.7GB RAM tüketir.

Bu daha büyük model, diğer tüm modellere kıyasla daha da önemli bir performans kaybına sahiptir. Sorunuz ile Deepseek'in tam yanıtını üretmesi arasında önemli miktarda zaman bekleyeceksiniz.

Deepseek-R1'in "14b" varyantını Raspberry Pi'nizde aşağıdaki komutu kullanarak çalıştırabilirsiniz. Bu varyant 9.0GB boş alana sahip olmanızı gerektirecektir.

ollama run deepseek-r1:14b

2. Her şey düzgün çalışıyorsa, artık Ollama'yı kullanarak Raspberry Pi'nizde Deepseek ile etkileşime geçebilmeniz gerekir.

Pi'nizde Phi3 LLM'i Kullanma

Phi3, Microsoft tarafından geliştirilen, çok daha büyük modellerden beklediğiniz kalitede sonuçların bir kısmını korurken son derece hafif olacak şekilde tasarlanmış bir LLM'dir.

Hafif olması, Phi3'ü Raspberry Pi'nizde çalıştırmak için harika bir büyük dil modeli haline getiriyor. Kullanılabilir bir hızda performans gösterebilmelidir. Süper hızlı yanıtlar beklemeyin, ama Pi 5 bu modeli çalıştırabilecek kapasitededir.

1. Ollama'nın Raspberry Pi'nizde Phi3 LLM'ini indirip başlatmasını sağlamak için yalnızca aşağıdaki komutu kullanmanız yeterlidir.

Bu işlemin tamamlanmasının biraz zaman alabileceğini unutmayın; daha küçük bir model olmasına rağmen Phi3 yine de 2.3GB'a denk gelir.

ollama run phi3

2. Phi3 artık Raspberry Pi'nizde çalışıyor olduğundan, yapay zeka modeliyle iletişim kurmaya başlayabileceksiniz.

Bu modelde fark edeceğiniz bir şey, kullanılabilir olmasına rağmen, uzun yanıtlar için yanıt vermesinin uzun zaman alabileceğidir. Raspberry Pi'nizde hızlı bir LLM arıyorsanız, diğer seçenekleri değerlendirmeniz gerekebilir.

TinyLlama'yı Test Etme

TinyLlama, son derece hafiftir ve Raspberry Pi'nin işlemcisinde çalıştırabileceğiniz en hızlı LLM'lerden biridir.

Phi3 veya ağır sıklet Llama 3 gibi daha büyük modeller kadar yüksek kaliteli sonuçlar üretemese de, çoğu temel soruyu yanıtlamaya fazlasıyla yeterlidir. Ayrıca, TinyLlama'nın kalite konusunda eksik bıraktığını kesinlikle hızla telafi eder.

1. Aşağıdaki komutu çalıştırarak Ollama'yı Raspberry Pi'nizde TinyLlama'yı çalıştırmak için kullanabilirsiniz.

Bu model oldukça hafiftir, bu nedenle Pi'nize nispeten hızlı bir şekilde indirilmelidir.

ollama run tinyllama

2. Model çalışmaya başladıktan sonra ona sorular sorabilir ve yapay zeka modeliyle konuşabilirsiniz.

Raspberry Pi'de Llama3 Çalıştırma

Llama3, özellikle TinyLlama ve Phi3 ile karşılaştırıldığında ağır sıklet bir dil modelidir. Süper yüksek kaliteli sonuçlar üretebilir, ancak Pi'nizde çalıştırırken sabırlı olmanız gereken bir modeldir.

Şahsen, Llama3 modelinin Raspberry Pi 5'imizde ne kadar iyi çalıştığına şaşırdık. Başlaması biraz zaman alsa da, öz ve oldukça okunabilir sonuçlar üretti.

İsteminiz ne kadar uzun olursa, hem Llama3 dil modeli hem de Pi'niz üzerinde o kadar fazla yük oluşturur.

1. Yine de bu modeli denemek isteyecek kadar cesursanız, aşağıdaki komutu çalıştırarak Ollama'nın Raspberry Pi'nizde Llama3'ü indirip çalıştırmasını sağlayabilirsiniz.

Llama3'ün çok büyük bir model olduğunu unutmayın. Pi'nizde en az 4.7GB boş alana sahip olmanız gerekir.

ollama run llama3

2. Ollama, Raspberry Pi'nizde Llama3 modelini başlatmayı tamamladıktan sonra, dil modeliyle iletişim kurmaya başlayabilirsiniz.

Aşağıda, kullandığımız birkaç istemi ve ürettiği sonuçları görebilirsiniz.

Raspberry Pi'nizde Ollama ile İletişim Kurmak İçin Curl Kullanma

Ollama'nın havalı özelliklerinden biri, sorgulayabileceğiniz API'sidir. Bu API'yi kullanarak, isteminize belirli modeller kullanılarak yanıtlar üretilmesini talep edebilirsiniz.

1. Bunu göstermek için, Raspberry Pi'mizde çalışan Ollama sunucusuna bir istek göndermek üzere curl kullanalım.

Bu komutla birlikte bazı JSON verileri gönderiyoruz. Bu JSON parçasında aşağıdaki bilgileri belirtiyoruz.

• model: Bu, Ollama'nın Raspberry Pi'nizde çalıştırmasını istediğimiz büyük dil modelidir. Bu örnekte hafif "tinyllama" modelinde kalıyoruz.

• prompt: İstem, modele söylemek istediğiniz şeydir, genellikle bir sorudur. Bu örnekte, modele Avustralya'nın başkentinin ne olduğunu soracağız.

• stream: "stream" seçeneğini false olarak ayarlayarak Ollama'ya, modelin üretimi bitirene kadar beklememizi ve ardından bir yanıt vermesini istediğimizi söylüyoruz. Bu, modelden gelen bir veri akışını işlemek istemiyorsanız kullanışlıdır. Genellikle bir model, bir seferde bir kelime olacak şekilde akış olarak geri gönderilir.

  curl http://localhost:11434/api/generate -d '{
  "model": "tinyllama",
  "prompt": "Why is the capital of Australia?",
  "stream": false
  }'

2. Aşağıda, bu API tarafından döndürülen verilerin nasıl bir şey olduğuna dair bir fikir edinebilirsiniz. Varsayılan olarak Ollama, sonucu JSON verisi olarak döndürecektir.

Bunun içinde, sonucu ve isteğin tamamlanmasının ne kadar sürdüğü gibi çeşitli ek bilgileri görebilirsiniz.

Sonuç

Bu rehberin sonunda, Raspberry Pi'nizde Ollama kurulu olmalıdır.

Ollama, Llama3 gibi büyük dil modellerinin kurulumunu ve kullanımını basitleştiren zarif bir yazılım parçasıdır.

Aynı makinede birden fazla model bile çalıştırabilir ve API'si veya Ollama komut satırı arayüzü üzerinden modeli çalıştırarak kolayca bir sonuç alabilirsiniz.

Raspberry Pi'nizde Ollama çalıştırma hakkında sorularınız varsa aşağıya yorum bırakmaktan çekinmeyin.