Φόρτωση περιεχομένου...
Φόρτωση περιεχομένου...
Κατανόηση 4-bit/8-bit quantization (Q4_K_M), διαχείριση VRAM και CPU fallback.
Το Quantization είναι η διαδικασία συμπίεσης των βαρών ενός νευρωνικού δικτύου από 16-bit floating point (FP16) σε χαμηλότερη ακρίβεια (π.χ. INT4 ή INT8), μειώνοντας δραστικά την απαίτηση σε VRAM με ελάχιστη απώλεια ποιότητας. (Βάρη = οι εκπαιδευμένοι αριθμοί του μοντέλου · FP16 = αποθήκευση 16-bit ανά βάρος · perplexity = μέτρο «μπερδέματος», όσο χαμηλότερο τόσο καλύτερο · token/s = ταχύτητα παραγωγής.)
| Μορφή Quantization | Απαιτούμενη Μνήμη (VRAM) | Perplexity Loss | Ταχύτητα Token/s |
|---|---|---|---|
| FP16 (Unquantized) | ~16.0 GB | 0.00% (Baseline) | Απαιτεί Datacenter GPU |
| Q8_0 (8-bit) | ~8.5 GB | < 0.01% | Εξαιρετική ποιότητα |
| Q4_K_M (4-bit Medium) | ~4.9 GB | < 0.15% | Ιδανικό για VPS 8GB RAM |
| Q2_K (2-bit) | ~3.1 GB | ~1.85% | Αισθητή απώλεια ακρίβειας |
num_gpu και Υπερχείλιση VRAMΣε GPU server το Ollama φορτώνει όσα transformer layers χωράνε στη VRAM και αφήνει τα υπόλοιπα στην CPU. Ο αριθμός των layers ελέγχεται με το num_gpu:
# Πλήρες μοντέλο στη GPU (όλα τα layers στη VRAM)
curl http://127.0.0.1:11434/api/generate -d '{
"model": "llama3.1:8b",
"prompt": "Γεια σου!",
"stream": false,
"options": { "num_gpu": 999 }
}'
# Μερικό offload: μόνο 20 layers στη GPU, τα υπόλοιπα στην CPU
curl http://127.0.0.1:11434/api/generate -d '{
"model": "llama3.1:8b",
"prompt": "Γεια σου!",
"stream": false,
"options": { "num_gpu": 20 }
}'Τι συμβαίνει σε υπερχείλιση VRAM: αν το quant δεν χωράει ολόκληρο, το Ollama κατεβάζει αυτόματα layers στην CPU (μερική εκτέλεση — πολύ πιο αργά tokens/s αλλά δεν κρασάρει). Με num_gpu: 0 τρέχετε καθαρά σε CPU. Αν δεν χωράει ούτε το context + KV cache στη RAM, παίρνετε OOM error — τότε κατεβάζετε μικρότερο quant (π.χ. από Q8_0 σε Q4_K_M) ή μικρότερο context.
Q4_K_M χωράει σε VPS με 8GB RAM με απώλεια perplexity κάτω από 0.15%.num_gpu διαλέγετε πόσα layers πάνε στη GPU, και με num_gpu: 0 τρέχετε καθαρά σε CPU.