Chatbot generativo en el idioma español utilizando la arquitectura de red neuronal Transformer

• Autores: Paucar Pinto, Deybis Youl, Uscamaita Quispetupa, Marycel
• Formato: tesis de grado
• Fecha de Publicación: 2019
• Institución: Universidad Nacional de San Antonio Abad del Cusco
• Repositorio: UNSAAC-Institucional
• Lenguaje: español
• OAI Identifier: oai:repositorio.unsaac.edu.pe:20.500.12918/4783
• Enlace del recurso: http://hdl.handle.net/20.500.12918/4783
• Nivel de acceso: acceso cerrado
• Materia: Chatbot generativo; Self-attention; Arquitectura de red neuronal Transformer; http://purl.org/pe-repo/ocde/ford#2.02.04

Los agentes conversacionales o chatbot han ido progresando en los últimos años gracias a la inteligencia artificial. Siendo Eliza (1966), uno de los primeros programas en procesar lenguaje natural. Eliza busca patrones en la frase escrita por el usuario, para luego responder con una “frase modelo" registrada en su base de datos. Por otro lado, tenemos el actual Google Assistant, un asistente virtual en desarrollo, compuesto por módulos de deep learning, además posee la tecnología Google Duplex que utiliza Redes Neuronales Recurrentes (RNN) y módulos de Long short-term memory (LSTM) en su núcleo, con el fin de ayudar a los usuarios a completar tareas específicas. Si bien las RNNs se utilizan para modelar problemas de secuencia temporal, como la traducción automática neural (Casacuberta and Peris, 2017), estas redes procesan la entrada de manera secuencial, es decir, requieren más tiempo de entrenamiento y mayores recursos de hardware; en contraste a esto, surge transformer, una arquitectura encoder-decoder que procesa de forma paralela la secuencia de entrada mientras usa un mecanismo de self-attention (Gouws et al., 2018); por esta razón, se implementó un chatbot generativo en el idioma español utilizando la arquitectura de red neuronal transformer siguiendo el método propuesto por (Perez, 2016). En este proyecto se entrenaron y probaron varios modelos basados en Vanilla y Universal transformer; los mejores modelos fueron evaluados, obteniendo un 60% de respuestas buenas y un 76% de respuestas coherentes.