Bu yazı, PiMyLifeUp - Running Deepseek on a Raspberry Pi kaynağından Türkçe'ye çevrilerek hazırlanmıştır.

Bu projede, Deepseek R1'in damıtılmış (distilled) sürümlerini Raspberry Pi'nize nasıl kurup çalıştıracağınızı göstereceğiz.

Deepseek, en iyilerle rekabet edebilecek açık kaynaklı bir yapay zeka sunarak dünyayı hızla kasıp kavuran yapay zeka şirketlerinden biridir.

Sihirli formüllerinin bir kısmı, daha büyük modellerinin "damıtılmış" adını verdikleri sürümlerinin mevcut olmasıdır. Bu damıtılmış sürümler, ana modelin önemli ölçüde daha hafif varyantlarıdır; önemli ölçüde daha az parametre içermelerine rağmen, bu parametrelerin seçilme biçimiyle bunu telafi ederler.

Bu damıtılmış Deepseek varyantları sayesinde, bu yapay zeka modelini bir Raspberry Pi üzerinde çalışır hale getirebiliyoruz. Kullanacağımız modeller, Deepseek-R1'in tam sürümüyle aynı doğruluğa sahip olmasa da, çalışabiliyor olmaları bile etkileyicidir.

Bir Pi üzerinde yerel olarak çalışabilen beş farklı Deepseek yapay zeka varyantı vardır. İlk ve en kullanışlı olanı, "tek başına" 1.5B parametreye sahiptir. Bundan en iyi sonuçları beklemeyin, ama bu size en hızlı sonuçları verecek modeldir.

Raspberry Pi'de hâlâ çalıştırılabilen ancak önemli ölçüde daha yavaş çalışan diğer damıtılmış varyantlar "7b", "8b" ve "16b" varyantlarıdır. "16b" varyantındaki tek püf nokta, bunu çalıştırmak için 16GB RAM'e sahip bir Raspberry Pi'ye ihtiyacınız olmasıdır.

Elbette, bir Pi üzerindeki her yapay zeka modelinde olduğu gibi, ne kadar yeni bir Raspberry Pi'ye sahip olursanız, o kadar iyi bir deneyim yaşarsınız. Bu modeller, mevcut performansın her zerresini gerçekten tüketecektir.

Raspberry Pi'de Deepseek Kurulumu ve Kullanımı

Aşağıdaki bölümlerde, Deepseek yapay zeka modelini Raspberry Pi'nize kurma ve kullanma sürecinde size adım adım rehberlik edeceğiz.

Bu adımlar tamamen terminal içinde çalıştırılacağından, Raspberry Pi OS Lite kullanmanızı öneririz. Daha hafif bir işletim sistemi çalıştırmak, bu yapay zeka modellerinden en iyi verimi almanıza da yardımcı olacaktır. Deepseek'ten bir yanıt üretmek, daha küçük parametreli modellerle bile inanılmaz derecede yüksek hesaplama gücü gerektirir.

Pi'nizi Hazırlama

1. Raspberry Pi'mizde Deepseek damıtılmış modellerini çalıştırmaya başlamadan önce, işletim sistemimizin güncel olduğundan emin olmalıyız.

Aşağıdaki iki komutu kullanarak paket listesini ve güncel olmayan tüm paketleri yükseltin.

sudo apt update
sudo apt upgrade

2. Bir sonraki adımımız, Pi'nizde curl paketinin mevcut olduğundan emin olmak için aşağıdaki komutu çalıştırmaktır.

Bunu, Deepseek yapay zeka modellerini çalıştırmak için kullanacağımız programı almak ve kurmak için kullanacağız.

sudo apt install curl

3. Bu hazırlığın son kısmı, Pi'nize Ollama yazılımını kurmaktır. Bu, terminalde aşağıdaki komutu kullanarak kolayca yapılabilir.

Kurulum süreci tamamlanması birkaç dakika sürebilir.

curl -fsSL https://ollama.com/install.sh | sh

Pi'nizde Deepseek Modellerini Çalıştırma

4. Artık Raspberry Pi'niz hazır olduğuna göre, Deepseek R1'in damıtılmış sürümlerini çalıştırmaya ve denemeye başlayabiliriz.

Bu modellerin her birini test etmek için, Raspberry Pi'mizde bunu nasıl değerlendirdiğini ve ne kadar hızlı bir yanıt üretebildiğini görmek amacıyla çok basit bir soru kullanacağız.

Deepseek R1 1.5b

a. Deepseek'in damıtılmış sürümlerinin en küçüğünü, aynı zamanda Raspberry Pi'nin nispeten zayıf donanımında en iyi çalışacak modeli test ederek başlayalım.

Aşağıdaki komutu kullanarak, Deepseek R1'in 1.5 milyar parametreli sürümünü Pi'nizde çalıştırabilirsiniz. Bu yapay zeka modelini çalıştırmak için cihazınızda en az 1GB boş alana ihtiyacınız olacağını unutmayın.

ollama run deepseek-r1:1.5b

b. Başladıktan sonra, gerçek zamanlı olarak bir yanıt ürettiğini göreceksiniz. Bu örnek için, Deepseek yapay zeka modeline basitçe "neden kar yağar" diye soracağız.

Verdiği yanıttan, bu modelin bilgi çekebileceği çok büyük miktarda veriye sahip olmadığını hemen hissedebilirsiniz. Bazı yanıtlarda, çoğu zaman işleri oldukça yanlış anladığını göreceksiniz.

Ancak bunlar, daha büyük bir modeli zayıf donanımda çalışacak kadar damıtırken feda ettiğiniz şeylerdir.

>>> Why does it snow?
<think>

</think>
The answer to "why does it snow?" depends on the weather conditions, time of year, and location.
Snowfall can occur due to natural phenomena like the North Atlantic Oscillation, human activities
(e.g., melting ice, urban heat island effect), or climate change. To get more specific
information about why a particular place is experiencing snowfall, you should check local
meteorological data or use an online weather calculator.

c. Aşağıda, bu modelin Raspberry Pi'mizde ne kadar hızlı çalıştığına dair bir fikir edinebilirsiniz. Örneğin, yukarıdaki yanıtın Raspberry Pi'mizde Deepseek modeli kullanılarak üretilmesi 9.7 saniye sürdü.

İstem 8 token'a denk geldi ve yapay zekanın bunu değerlendirmesi yalnızca 612ms sürdü. Yanıtın kendisi, saniyede 9 token hızıyla üretilmek üzere tam 9 saniye sürdü.

total duration:       9.765056893s
load duration:        41.498181ms
prompt eval count:    8 token(s)
prompt eval duration: 612ms
prompt eval rate:     13.07 tokens/s
eval count:           89 token(s)
eval duration:        9.11s
eval rate:            9.77 tokens/s

Deepseek R1 7b

a. Terminalde aşağıdaki komutu kullanarak Raspberry Pi'mizde Deepseek'in 7 milyar parametreli damıtılmış sürümünü çalıştırarak işleri biraz daha zorlaştıralım.

Bu model, en küçük damıtılmış sürümden neredeyse beş kat daha büyüktür ve kısa süre sonra göreceğiniz gibi, bu durum Pi'mizin sınırlı donanımında bir yanıt üretme hızını önemli ölçüde etkiler.

Bu modeli çalıştırmak için 4.7GB boş alana ihtiyacınız olacak.

ollama run deepseek-r1:7b

b. Raspberry Pi'mizde çalışan Deepseek yapay zeka modelinden gelen yanıt hemen çok daha kullanışlı hale geliyor.

Üretilmesi önemli ölçüde daha uzun sürse de, yapay zeka modelinin en küçük damıtılmış sürümden çok daha fazla veriye erişimi olduğunu anlayabilirsiniz.

>>> Why does it snow?
<think>

</think>

Snow occurs when water vapor in the atmosphere freezes and falls to the ground as ice. This
process is influenced by several factors, including temperature, humidity, and wind. When the
temperature drops below freezing (0°C or 32°F) and there are enough water droplets in the air,
they can freeze and form snowflakes. These snowflakes then come together to create snowstorms
when the wind blows them into the air.

In summary, snow forms due to the freezing of water vapor in the atmosphere under cold and moist
conditions.

c. Daha önce de belirtildiği gibi, Deepseek'in bu daha büyük damıtılmış sürümünü Raspberry Pi'mizde çalıştırmanın dezavantajı, performansın önemli ölçüde düşmesidir.

Çok daha küçük olan "1.5b" modeliyle karşılaştırıldığında, değerlendirme hızı neredeyse dört kat daha yavaştır. Saniyede 2.29 token üretirken, daha küçük model saniyede 9.77 token üretir.

total duration:       52.792391411s
load duration:        37.262035ms
prompt eval count:    8 token(s)
prompt eval duration: 2.903s
prompt eval rate:     2.76 tokens/s
eval count:           114 token(s)
eval duration:        49.845s
eval rate:            2.29 tokens/s

Raspberry Pi'de Deepseek R1 8b

a. Deepseek R1'in bir sonraki damıtılmış sürümü, çoğu Raspberry Pi'de çalıştırılabilecek sonuncusudur. Daha büyük olan herhangi bir şey, çoğu Pi'nin sahip olduğundan daha fazla RAM gerektirir.

Bu sürüm yalnızca bir milyar daha fazla parametreye sahiptir, bu nedenle 1.5b ile 7b arasındaki kadar büyük bir iyileşme görmeyeceksiniz. Kullanılabilir bir model arıyorsanız, hangisinin tutarlı olarak istenen sonuçları ürettiğini görmek için hem 7b hem de 8b modellerini test etmeye değer.

Bu Deepseek yapay zeka modelini Raspberry Pi'nizde terminalde aşağıdaki komutu kullanarak çalıştırabilirsiniz.

ollama run deepseek-r1:8b

b. Deepseek'in Raspberry Pi'mizde ürettiği yanıt, biraz daha küçük olan "7b" varyantının ürettiğine çok benzer.

Her iki sonuç da oldukça kullanışlıdır ve GPU gibi çok daha güçlü bir hesaplama cihazı eklemeden bir Raspberry Pi üzerinde yerel olarak üretebileceğiniz en iyi yapay zeka sonuçlarından bazılarıdır.

>>> Why does it snow?
<think>

</think>

The phenomenon of snowfall occurs when the water vapor in the atmosphere condenses into ice
crystals due to low temperatures, which then fall to the ground. This process is part of the
Earth's hydrological cycle and is influenced by various factors such as temperature, humidity,
and atmospheric pressure. The exact mechanisms behind snowfall are complex and involve a
combination of physical processes in the atmosphere.

c. Bu modelden elde edilen kıyaslama sonuçları ilginçtir, çünkü biraz daha küçük olan Deepseek modelinden 10 saniye daha hızlı üretim yaptı.

Ancak bunun püf noktası, daha küçük bir sonuç üretmiş olması, yani sonucu üretmek için daha az token gerektirmiş olmasıdır. Bu hız artışı, daha az token üretilmesinden kaynaklanıyor.

total duration:       40.411836103s
load duration:        51.13561ms
prompt eval count:    8 token(s)
prompt eval duration: 3.108s
prompt eval rate:     2.57 tokens/s
eval count:           81 token(s)
eval duration:        37.25s
eval rate:            2.17 tokens/s

Deepseek R1 14b

a. Şimdi, bir Raspberry Pi üzerinde çalıştırılabilen Deepseek'in son varyantı 14 milyar parametreli sürümdür. Ancak buradaki büyük püf nokta, Raspberry Pi'nin 16GB'lık varyantını kullanıyor olmanız gerektiğidir.

Ne yazık ki şu anda elimizde bir tane olmadığından, sonuçları kendimiz test edemiyoruz, ancak yeterli RAM'iniz olmadığında bir Deepseek R1 modelini çalıştırmaya çalıştığınızda ne olduğunu size gösterebiliriz.

Deepseek yapay zeka modelinin bu sürümünü Pi'nizde aşağıdaki komutu kullanarak çalıştırın. Bu daha büyük modelin en az 9 GB boş alana ihtiyaç duyacağını unutmayın.

ollama run deepseek-r1:14b

b. Raspberry Pi'mizde yeterli RAM olmadığından aşağıdaki hata mesajıyla karşılaştık.

Error: model requires more system memory (10.6 GiB) than is available (7.6 GiB)

Sonuç

Umarız bu noktada, Deepseek R1 yapay zeka modelini Raspberry Pi'nizde nasıl gerçekten çalıştırabileceğiniz konusunda sağlam bir fikre sahip olmuşsunuzdur.

Deepseek R1, tamamen açık kaynaklı olması sayesinde ortaya çıkan en etkileyici yapay zeka projelerinden biridir. Açık kaynaklı olması, üçüncü taraf bir hizmete bağımlı kalmadan bu yapay zeka modelini yerel olarak çalıştırmanıza olanak tanır; bu da verilerinizle ne yaptıkları konusunda endişelenmenize gerek kalmadığından gizliliği artırmaya yardımcı olur.

Deepseek hakkında etkileyici olan bir diğer şey de, damıtılmış varyantlarının nispeten kullanılabilir olması ve Raspberry Pi gibi beklediğinizden önemli ölçüde daha zayıf bir cihazda çalıştırılabilmesidir.

Bu yapay zeka modelini Pi'nizde çalıştırırken herhangi bir sorunla karşılaştıysanız, aşağıya yorum bırakmaktan çekinmeyin.