Homogeneous and heterogeneous architecture for distributed processing of unstructured data with framework hadoop

• Autores: Huancahuire Bravo, Claudio Isaias, Bravo Mendoza , Guido, Rozas Huacho, Javier Arturo
• Formato: artículo
• Fecha de Publicación: 2021
• Institución: Universidad Nacional Micaela Bastidas de Apurímac
• Repositorio: UNMB-Riqchary
• Lenguaje: español
• OAI Identifier: oai:revistas.unamba.edu.pe:article/46
• Enlace del recurso: https://revistas.unamba.edu.pe/index.php/riqchary/article/view/46
• Nivel de acceso: acceso abierto
• Materia: HDFS; MapReduce; Hadoop; YARN

Se requiere nueva tecnología de almacenamiento, para el contexto de sensores, Web 2.0-YouTube, internet de las cosas, redes sociales (facebook, twitter, whatsApp), conllevando exponencialmente a grandes volúmenes de datos, al tratamiento de velocidades extramadanente rápidas y son datos de formatos que no tienen estructura. En compendio se genera un desafío en una dicción titulada “Big Data”, que el SQL no satisface. La propuesta es diseñar e implementar un servidor de mejor prestación para “Big Data”, logrando así dos clústeres de arquitectura de 10 PC homogéneas y 10 PC heterogéneas basados en el framework Hadoop bajo el modelo cliente/servidor en base a Hardware Commodity, HDFS que almacena de manera distribuidad y YARN que procesa en paralelo con el modelo de programación MapReduce. para ello se descargo el código binario de Hadoop 2.9.2, se instalo en sistema operativo RedHat-CentOS7, se compiló el JDK, logrando configurar Java, continuamos con la seguridad SSH-RSA, creando así un servidor de mejores prestaciones para “Big Data”. Las pruebas de rendimiento se realizaron en nuestro servidor localhost, con una población de 6.4 GB y 12.8 GB. Estimando integrar un servidor con PC de escritorio convencionales, como máximo 4000 nodos y no solo con las mismas características de PC.