This work proposes a semi-automated analysis and modeling package for Machine Learning related problems. The library goal is to reduce the steps involved in a traditional data science roadmap. To do so, Sparkmach takes advantage of Machine Learning techniques to build base models for both classification and regression problems. These models include exploratory data analysis, data preprocessing, feature engineering and modeling. The project has its basis in Pymach, a similar library that faces those steps for small and medium-sized datasets (about ten millions of rows and a few columns). Sparkmach central labor is to scale Pymach to overcome big datasets by using Apache Spark distributed computing, a distributed engine for large-scale data processing, that tackle several data science related problems in a cluster environment. Despite the software nature, Sparkmach can be of use for local ...

La presente tesis propone dos sistemas de análisis y predicción de datos enfocados a problemas relacionados al Machine Learning: Pymach y Sparkmach. Este sistema conjunto tiene el fin de reducir y automatizar los pasos convencionales que conlleva la creación de un modelo predictivo en general. Para este fin se hace uso de técnicas de inteligencia artificial, particularmente, Machine Learning, para crear modelos a medida que puedan predecir eventos a futuro, en aplicaciones tales como, lugares y frecuencias de accidentes de tránsito, localización, tiempos de espera de autobuses, consumo de combustible, entre otros. Para ello, se ha trabajado con datos simulados y reales que, junto al sistema, se han desplegado en un clúster de CPUs. Debido a la ingente cantidad de datos, se ha trabaja- do con técnicas de paralelismo y Big Data para el procesamiento eficiente de los mismos. Finalme...