Φόρτωση περιεχομένου...
Φόρτωση περιεχομένου...
Εγκατάσταση του extension pgvector, δημιουργία διανυσματικών στηλών και υπολογισμός αποστάσεων.
Το extension pgvector μετατρέπει την PostgreSQL σε πανίσχυρη διανυσματική βάση δεδομένων, καταργώντας την ανάγκη για εξωτερικά εργαλεία όπως Pinecone ή Weaviate.
-- Ενεργοποίηση extension
CREATE EXTENSION IF NOT EXISTS vector;
-- Πίνακας εγγράφων με διανύσματα 768 διαστάσεων (Ollama nomic-embed-text = 768 dims·
-- το 1536 είναι OpenAI text-embedding-3-small / ada-002, όχι nomic-embed-text)
CREATE TABLE document_embeddings (
id UUID PRIMARY KEY DEFAULT gen_random_uuid(),
document_id UUID NOT NULL,
chunk_index INT NOT NULL,
content TEXT NOT NULL,
embedding VECTOR(768) NOT NULL
);/api/embed → INSERTΧωρίς διανύσματα, καμία μέθοδος συγχώνευσης αποτελεσμάτων (όπως το RRF) δεν έχει τι να συνδυάσει — γι' αυτό χτίζουμε πρώτα το embedding pipeline εδώ. Η πλήρης ροή ingestion (επαληθευμένη με το Ollama API docs — τρέχον endpoint POST /api/embed, το παλιό /api/embeddings με prompt έχει αντικατασταθεί):
// 1. Chunk το κείμενο (10-15% overlap), 2. embed σε batch, 3. insert στη pgvector
async function ingestDocument(documentId: string, chunks: string[]) {
const res = await fetch('http://127.0.0.1:11434/api/embed', {
method: 'POST',
headers: { 'Content-Type': 'application/json' },
body: JSON.stringify({ model: 'nomic-embed-text', input: chunks }),
})
const { embeddings }: { embeddings: number[][] } = await res.json()
for (let i = 0; i < chunks.length; i++) {
await sql`
INSERT INTO document_embeddings (document_id, chunk_index, content, embedding)
VALUES (${documentId}, ${i}, ${chunks[i]}, ${JSON.stringify(embeddings[i])}::vector)
`
}
}Το
inputδέχεται string ή λίστα strings και η απάντηση έχει σχήμα{ embeddings: [...] }(μία λίστα ανά input). Τοnomic-embed-textεπιστρέφει πάντα 768 διαστάσεις — γι' αυτό η στήλη είναιVECTOR(768).
Το pgvector προσφέρει τρεις τελεστές για ταξινόμηση κατά ομοιότητα:
| Τελεστής | Απόσταση | Χρήση |
|---|---|---|
<=> | cosine distance | Κείμενο/embeddings (η προεπιλογή μας) |
<-> | euclidean (l2) | Ευκλείδεια απόσταση |
<#> | inner product | Μέγιστο εσωτερικό γινόμενο |
-- KNN top-5: τα 5 chunks με τη μικρότερη cosine distance από το ερώτημα ($1)
SELECT id, content FROM document_embeddings ORDER BY embedding <=> $1 LIMIT 5;SELECT id, content FROM document_embeddings ORDER BY embedding <=> $1 LIMIT 5;Ο πίνακας έχει στήλη embedding VECTOR(768). Ποιος τελεστής ταξινομεί κατά cosine distance;
pgvector μετατρέπει την PostgreSQL σε διανυσματική βάση, χωρίς εξωτερικές υπηρεσίες όπως Pinecone.VECTOR(768), γιατί το nomic-embed-text επιστρέφει πάντα 768 διαστάσεις.POST /api/embed και αποθηκεύει κάθε embedding με INSERT.<=> ταξινομεί κατά cosine distance, και το opclass του index πρέπει να του ταιριάζει.