Serious Game para el aprendizaje de gestos estáticos del lenguaje de señas peruano mediante el uso de realidad virtual

• Autores: Ramos Carrión, Cristopher Lizandro, Nureña Jara, Roberto Alonso
• Formato: tesis de grado
• Fecha de Publicación: 2021
• Institución: Universidad Peruana de Ciencias Aplicadas
• Repositorio: UPC-Institucional
• Lenguaje: español
• OAI Identifier: oai:repositorioacademico.upc.edu.pe:10757/657932
• Enlace del recurso: http://hdl.handle.net/10757/657932
• Nivel de acceso: acceso abierto
• Materia: Redes neuronales; Lenguaje de señas; Realidad virtual; Reconocimiento de gestos; Neural networks; Sign language; Virtual reality; Gesture recognition; http://purl.org/pe-repo/ocde/ford#1.00.00; https://purl.org/pe-repo/ocde/ford#1.02.01

El presente proyecto tiene como objetivo el desarrollo de un juego serio para el aprendizaje de gestos básicos de la lengua de señas peruana en realidad virtual para personas que no padezcan de sordera, utilizando el dispositivo HTC Vive. El juego, al cual nombramos Sign Shooting, consta de 8 niveles en donde el jugador deberá aprender 3 gestos de letras por cada uno de éstos, y al final una prueba de los conocimientos aprendidos. Se implementó el Vive Hand Tracking SDK para la detección de las manos del usuario y sus características espaciales. Con esta información, generamos un dataset de los gestos a aprender, el cual utilizamos para entrenar un modelo de redes neuronales para el reconocimiento de señas, el cual fue validado con las métricas de bias y varianza. Para validar nuestra propuesta, se pidió a los usuarios completar el juego y a continuación responder una encuesta dividida en experiencia de juego y aprendizaje del usuario. Los resultados obtenidos muestran un puntaje promedio en la experiencia usuario mayor de 4 (de un máximo de 5) y que en toda la sesión de juego se aprenden un promedio de 17 gestos de letras (de un total de 24), significando que los usuarios consideran el juego entretenido, inmersivo y que cumple con su objetivo de enseñanza. Finalmente, se concluye que el uso de realidad virtual incentiva a que el usuario se sienta comprometido con el juego y busque llegar a su objetivo.