Φόρτωση περιεχομένου...
Φόρτωση περιεχομένου...
Στήσιμο αυτόνομου AI runtime σε Linux VPS, ρύθμιση systemd service και ασφαλές API endpoint.
Η εκτέλεση τοπικών γλωσσικών μοντέλων (Open-Source LLMs) σε ιδιόκτητη υποδομή (Sovereign Infrastructure) προσφέρει απόλυτη ιδιωτικότητα, μηδενικό κόστος ανά token και πλήρη έλεγχο των δεδομένων σας.
Όλες οι εντολές τρέχουν στο τερματικό του Linux server σας (VPS μέσω SSH — βλ. Πρώτη Σύνδεση SSH).
Λεξιλόγιο-κλειδιά (εξηγούνται αναλυτικά στη συνέχεια): LLM = μεγάλο γλωσσικό μοντέλο · token = το κομμάτι κειμένου που διαβάζει το μοντέλο · VRAM = μνήμη κάρτας γραφικών · embedding = αριθμητική αναπαράσταση νοήματος · RAG = απάντηση αφού διαβάσει πρώτα τα δικά σας έγγραφα. Πλήρες Γλωσσάρι.
Το Ollama παρέχει ένα ελαφρύ C++ runtime βασισμένο στο llama.cpp, επιτρέποντας την εκτέλεση μοντέλων όπως το Llama 3, Mistral, και DeepSeek-R1.
# Λήψη και εκτέλεση του επίσημου binary installer
curl -fsSL https://ollama.com/install.sh | sh
# Επαλήθευση εγκατάστασης και αρχιτεκτονικής
ollama --versionΑναμενόμενο αποτέλεσμα (ο αριθμός έκδοσης διαφέρει):
ollama version is 0.6.8Μοντέλα κατεβάζετε με ollama pull <όνομα>:<tag> — το tag δηλώνει μέγεθος και ποσοτικοποίηση (π.χ. llama3.1:8b):
ollama pull llama3.1:8bΓια production περιβάλλον, το Ollama πρέπει να εκτελείται υπό ξεχωριστό μη-προνομιούχο χρήστη ollama με περιορισμούς μνήμης.
Η §1 (install.sh) έχει ήδη φτιάξει τον χρήστη
ollamaκαι ενεργοποιήσει την υπηρεσία — εδώ απλώς αντικαθιστούμε το unit.
# /etc/systemd/system/ollama.service
[Unit]
Description=Ollama Sovereign AI Service
After=network-online.target
[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="OLLAMA_HOST=127.0.0.1:11434"
Environment="OLLAMA_MODELS=/var/lib/ollama/models"
Environment="OLLAMA_NUM_PARALLEL=4"
MemoryMax=6G
[Install]
WantedBy=multi-user.targetΤο
MemoryMax=6Gυλοποιεί τον περιορισμό μνήμης της παραγράφου: ο kernel σκοτώνει (OOM-kill) την υπηρεσία αν ξεπεράσει τα 6 GB, αντί να σέρνεται σε swap.
# Ενεργοποίηση και εκκίνηση της υπηρεσίας
sudo mkdir -p /var/lib/ollama/models
sudo chown -R ollama:ollama /var/lib/ollama
sudo systemctl daemon-reload
sudo systemctl enable --now ollama
sudo systemctl status ollamavllm serveΤο Ollama είναι ιδανικό για γρήγορο single-GPU serving. Όταν θέλετε υψηλό throughput με συνεχή batching (πολλά παράλληλα requests) και OpenAI-compatible API, χρησιμοποιείτε vLLM:
# Εγκατάσταση και εκκίνηση OpenAI-compatible server
pip install vllm
vllm serve meta-llama/Llama-3.1-8B-Instruct --quantization fp8 --port 8000Ο server εκθέτει POST /v1/chat/completions, POST /v1/completions, GET /v1/models και POST /v1/embeddings — drop-in αντικατάσταση του OpenAI client (base_url='http://127.0.0.1:8000/v1'). Η σημαία --quantization (π.χ. fp8) μειώνει τη μνήμη όπως το GGUF, αλλά σε tensor format για PagedAttention.
# /etc/systemd/system/vllm.service
[Unit]
Description=vLLM OpenAI-Compatible Server
After=network-online.target
[Service]
ExecStart=/usr/local/bin/vllm serve meta-llama/Llama-3.1-8B-Instruct --quantization fp8 --port 8000
User=vllm
Group=vllm
Restart=always
RestartSec=5
MemoryMax=12G
[Install]
WantedBy=multi-user.targetΠότε διαλέγετε τι: Ollama για απλό setup, GGUF quants και CPU/GPU hybrid σε μικρό VPS· vLLM για production throughput (continuous batching, PagedAttention) σε GPU server με αρκετή VRAM.
ollama και όριο MemoryMax=6G.OLLAMA_HOST=127.0.0.1:11434 δένει το API μόνο στο loopback, γιατί δεν έχει authentication.POST /v1/chat/completions.