ragcooking
BibliotecaPreparaciónChunking

Chunking

Fase obligatoriaEstación: Preparación · Mise en place4 piezas

La píldora de información: el tamaño se hereda del dominio y debe caber en el modelo de embedding.

Fase obligatoria

El validador del constructor exige cubrirla siempre: con una pieza propia o con un framework que la incluya.

Cómo elegir: comparativa de piezas

Generada desde el catálogo (dato, no código).

PiezaQué haceProsContras
Chunking fijoTamaño y overlap fijos; define aquí el tamaño de tu píldora
  • Simple y rápido
  • Corta ideas por la mitad
Chunking semánticoCorta donde el texto cambia de tema; la píldora la marca el tema
  • Chunks coherentes
  • Más coste de proceso
Por estructuraRespeta secciones, artículos, cláusulas; el dominio marca la píldora
  • Perfecto para normativa
  • Documentos bien formados
Jerárquico (padre-hijo)Chunks pequeños que recuerdan a su padre
  • Contexto amplio
  • Índice doble
Conjuntos (frameworks) que cubren esta fase

Estos conjuntos colocan sus propios bloques en esta fase. Suelta uno en el lienzo y expándelo para no perder trazabilidad.

LlamaIndex · 4+ fasesHaystack (deepset) · 4+ fasesAzure AI Search · 4+ fasesragkit · 9+ fases ★nucleus · 5+ fases ★

Términos relacionados

píldora de informaciónembeddingver diccionario completo →
Usar esta fase en mi receta Volver a la biblioteca