Fine-Tuning de Modelos Monolingües BERT preentrenados para el análisis de sentimientos en contextos de jerga peruana

• Autores: Calizaya Milla, Sergio Elvis, Santos Gonzales, Jair Samuel
• Formato: tesis de maestría
• Fecha de Publicación: 2024
• Institución: Universidad Peruana Unión
• Repositorio: UPEU-Tesis
• Lenguaje: español
• OAI Identifier: oai:repositorio.upeu.edu.pe:20.500.12840/8017
• Enlace del recurso: http://repositorio.upeu.edu.pe/handle/20.500.12840/8017
• Nivel de acceso: acceso abierto
• Materia: Fine-tuning; Análisis de sentimiento; Transformers; BERT; Español; Jergas; http://purl.org/pe-repo/ocde/ford#1.02.01

La innovación en el procesamiento del lenguaje natural (NLP) ha llevado a la creación de modelos como BERT, RoBERTa, GPT-4o, Llama 3 y Gemini. Sin embargo, la adaptación de estos modelos a dialectos específicos, especialmente en lenguas distintas del inglés, sigue siendo poco explorada, especialmente con jergas o lenguaje informal. En respuesta a esta necesidad, nuestra investigación evalúa modelos monolingües al español que mejor se adapten a las expresiones coloquiales peruanas, siendo la mejor alternativa RoBERTuito, un modelo pre-entrenado en un extenso corpus de tweets en español que destaca su eficacia en tareas de clasificación de texto. Afinamos y comparamos este modelo para reflejar las características del español peruano. Implementamos un proceso de recolección y preprocesamiento de datos de Facebook, enfocándonos en comentarios en español peruano. Este dataset especializado con más de 11,000 comentarios etiquetados fueron usados para entrenar modelos monolingües en la tarea de análisis de sentimientos y obtener una detección más precisa de la polaridad en textos que incluyen jergas peruanas. RoBERTuito obtuvo un F1-score equilibrado de 0.750, con una precisión de 0.858, un recall de 0.870 y una exactitud de 0.789. En comparación, BETO alcanzó una precisión de 0.794, recall de 0.725 y exactitud de 0.669; BERTuit, una precisión de 0.751, recall de 0.869 y exactitud de 0.722; y RoBERTa-BNE, una precisión de 0.783, recall de 0.759 y exactitud de 0.750. Este estudio no solo proporciona una solución para el análisis de sentimientos en español peruano, sino que también establece una base para adaptar modelos monolingües a contextos lingüísticos específicos.