Biblioteca › Aprovisionamiento ›Limpieza
Limpieza
Normalización, deduplicación, corrección, calidad.
Fase recomendada
Sin cubrir genera aviso en el lienzo: puedes saltarla, pero conviene saber qué te pierdes.
Cómo elegir: comparativa de piezas
Generada desde el catálogo (dato, no código).
| Pieza | Qué hace | Pros | Contras |
|---|---|---|---|
| Normalización | Unicode, mayúsculas, espacios, caracteres huérfanos |
|
|
| Deduplicación | Detecta documentos y chunks repetidos |
|
|
| Corrección de calidad | Errores de OCR, codificación, huérfanos |
|
|
| Detección de idioma | Separa el corpus por idioma: condiciona el modelo de embedding |
|
|
Términos relacionados
normalización de formatover diccionario completo →