Φόρτωση περιεχομένου...
Φόρτωση περιεχομένου...
Τεχνικές διαχωρισμού κειμένου: Recursive text splitting, overlaps και διατήρηση context.
Η επιλογή του μεγέθους chunk και του overlap καθορίζει την ποιότητα της ανάκτησης (Retrieval) στο RAG.
const chunks = splitText(contractText, { chunkSize: 512, chunkOverlap: 0 });
// η ρήτρα ακύρωσης κόβεται στη μέση: chunk[3] λήγει σε «...δικαίωμα υπαναχώρησης εντός», chunk[4] αρχίζει με «14 ημερών»Πόσο overlap (ποσοστό) κρατάει την κομμένη πρόταση ολόκληρη και στα δύο chunks;