Comparación de modelos generativos compactos para respuesta automática en español mediante RAG

• Autores: Curi Garrafa, Jean Phol A., Ortega Marocho, Victor R., Mamani Rodrigo, Wilson
• Formato: artículo
• Fecha de Publicación: 2025
• Institución: Universidad Nacional Micaela Bastidas de Apurímac
• Repositorio: UNMB-Riqchary
• Lenguaje: español
• OAI Identifier: oai:revistas.unamba.edu.pe:article/211
• Enlace del recurso: https://revistas.unamba.edu.pe/index.php/riqchary/article/view/211
• Nivel de acceso: acceso abierto
• Materia: spanish; evaluation; Compact models; rag; Español; evaluación; modelos compactos

Este estudio compara cinco modelos generativos compactos (≤ 8 mil millones de parámetros) para respuesta automática en español integrados a un esquema de generación aumentada con recuperación (RAG) y ejecutados localmente. Se evalúa la calidad mediante F1, BLEU-4 y un juicio semántico externo (LLM-Judge), junto con indicadores de eficiencia (latencia P95, memoria, GPU/CPU). Los resultados muestran que Mistral 7B alcanza el mejor desempeño medio en F1 y valoración global, mientras que OpenHermes 7B ofrece una precisión prácticamente equivalente con la menor huella de memoria. Zephyr 7B-β destaca en documentos extensos y Phi-3 Mini reduce las colas de latencia bajo condiciones adversas. Un análisis de Pareto F1–RAM identifica a Mistral 7B y OpenHermes 7B como soluciones no dominadas, proporcionando pautas de selección según el objetivo operativo (precisión absoluta vs. eficiencia de recursos). El trabajo aporta una comparación reproducible en español bajo RAG y criterios accionables para despliegues locales.