Εγκατάσταση Ollama & vLLM σε Linux Server (systemd daemon)

Εγκατάσταση Ollama & vLLM σε Linux Server

Η εκτέλεση τοπικών γλωσσικών μοντέλων (Open-Source LLMs) σε ιδιόκτητη υποδομή (Sovereign Infrastructure) προσφέρει απόλυτη ιδιωτικότητα, μηδενικό κόστος ανά token και πλήρη έλεγχο των δεδομένων σας.

---

1. Αυτοματοποιημένη Εγκατάσταση του Ollama Daemon

Το Ollama παρέχει ένα ελαφρύ C++ runtime βασισμένο στο llama.cpp, επιτρέποντας την εκτέλεση μοντέλων όπως το Llama 3, Mistral, και DeepSeek-R1.

bash
Αντιγραφή
# Λήψη και εκτέλεση του επίσημου binary installer
curl -fsSL https://ollama.com/install.sh | sh

# Επαλήθευση εγκατάστασης και αρχιτεκτονικής
ollama --version

---

2. Παραμετροποίηση ως Systemd Service

Για production περιβάλλον, το Ollama πρέπει να εκτελείται υπό ξεχωριστό μη-προνομιούχο χρήστη ollama με περιορισμούς μνήμης.

ini
Αντιγραφή
# /etc/systemd/system/ollama.service
[Unit]
Description=Ollama Sovereign AI Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="OLLAMA_HOST=127.0.0.1:11434"
Environment="OLLAMA_MODELS=/var/lib/ollama/models"
Environment="OLLAMA_NUM_PARALLEL=4"

[Install]
WantedBy=multi-user.target

bash
Αντιγραφή
# Ενεργοποίηση και εκκίνηση της υπηρεσίας
sudo systemctl daemon-reload
sudo systemctl enable --now ollama
sudo systemctl status ollama