Μεσαίο ΕπίπεδοAILLMOllamapgvectorPostgreSQLNext.jsDevOps

Sovereign AI & Local LLM Ops: Ollama, vLLM, pgvector & Next.js 16 Streaming

Μάθετε σε βάθος πώς να εκτελείτε, να βελτιστοποιείτε και να εξυπηρετείτε τοπικά Open-Source LLMs με Ollama και vLLM σε ιδιόκτητους Linux VPS, ενσωματώνοντας pgvector HNSW semantic search και token streaming στο Next.js 16.

4 Ενότητες

8 Μαθήματα

225 Λεπτά συνολικά

Χωρίς πρόσφατο έλεγχο περιεχομένου. Οι εντολές και τα παραδείγματα ενδέχεται να έχουν αλλάξει από τη δημοσίευση.

Έναρξη Μαθήματος Αναβάθμιση σε Pro ($19/μήνα)

Sovereign AI & Local LLM Ops: Ollama, vLLM, pgvector & Next.js 16 Streaming

Η Πρόοδός σας0%

Ύλη Μαθήματος

Τα δοκιμαστικά μαθήματα είναι ανοιχτά σε όλους. Τα Pro μαθήματα απαιτούν ενεργή συνδρομή.

Ενότητα 1

Ενότητα 1: Local LLM Runtimes & Linux VPS Setup

Εγκατάσταση και παραμετροποίηση αυτόνομου AI server με Ollama και vLLM κάτω από systemd.

2 μαθήματα

1.1 Εγκατάσταση Ollama & vLLM σε Linux Server (systemd daemon)Δωρεάν Προεπισκόπηση

Στήσιμο αυτόνομου AI runtime σε Linux VPS, ρύθμιση systemd service και ασφαλές API endpoint.

25 min

1.2 GGUF Quantization, VRAM Allocation & CPU OffloadingPro

Κατανόηση 4-bit/8-bit quantization (Q4_K_M), διαχείριση VRAM και CPU fallback.

25 min

Ενότητα 2

Ενότητα 2: Vector Databases & pgvector στο PostgreSQL

Αποθήκευση διανυσμάτων, μετρικές ομοιότητας και δημιουργία ευρετηρίων HNSW στη βάση δεδομένων.

2 μαθήματα

2.1 Διανύσματα, Embeddings & cosine vs l2_distancePro

Εγκατάσταση του extension pgvector, δημιουργία διανυσματικών στηλών και υπολογισμός αποστάσεων.

30 min

2.2 Ευρετήρια HNSW vs IVFFlat για High-Performance Similarity SearchPro

Κατασκευή Hierarchical Navigable Small World ευρετηρίων για sub-millisecond αναζήτηση.

25 min

Ενότητα 3

Ενότητα 3: RAG Pipelines & Υβριδική Αναζήτηση (Hybrid Search)

Συνδυασμός κλασικού Full-Text Search και σημασιολογικής διανυσματικής αναζήτησης με Reciprocal Rank Fusion.

2 μαθήματα

3.1 Chunking Strategies, Token Limits & Document Pre-processingPro

Τεχνικές διαχωρισμού κειμένου: Recursive text splitting, overlaps και διατήρηση context.

25 min

3.2 Συνδυασμός Full-Text (tsvector) και Vector Search με RerankingPro

Υλοποίηση Reciprocal Rank Fusion (RRF) στο PostgreSQL για κορυφαία ακρίβεια ανάκτησης.

30 min

Ενότητα 4

Ενότητα 4: Next.js 16 AI Streaming & Production Deployment

Server Actions με streaming tokens, διαχείριση σφαλμάτων και προστασία ορίων ρυθμού (Rate Limiting).

2 μαθήματα

4.1 AI SDK, Server Actions & UI Token Streaming (rsc/stream)Pro

Υλοποίηση ζωντανού streaming απαντήσεων από το τοπικό Ollama στο React UI χωρίς third-party SaaS.

30 min

4.2 Rate Limiting, Failover Fallbacks & Production CapstonePro

Τελικό εργαστήριο: Ασφάλεια, περιορισμός αιτημάτων και fallback στρατηγικές σε production περιβάλλον.

35 min

Φόρτωση περιεχομένου...