To access the full text documents, please follow this link: http://hdl.handle.net/10609/43084

Disseny i implementació d'un sistema de tractament d'arxius binaris WDF usant MapReduce en clústers Hadoop
Pérez Labernia, Sergi
Universitat Oberta de Catalunya
The design and the implementation of non-conventional Big Data system are the main aids of this project. This system is able to extract information such as temporal and power values from binary files. Initially, the instrumentation equipment produces binary files which are distributed between all the clusterednodes. The MapReduce model allows this system to execute works distributed into Hadoop environment. Furthermore, Hadoop saves information between nodes into HDFS file system. On the other hand, the web interface allows to generate graphic outputs ranked between initial and final timestamps. Systemsusing binary files in Hadoop environment are possible. In future, it would be interesting to work in control errors in order to improve this base system. To conclude, all the computer work is distributed correctly between nodes and thelecture of these binary files demonstrates the possibilities of Hadoop with non-text inputs.
L'objectiu del projecte es centra en el disseny i la implementació d'un sistema Big Data poc convencional capaç d'extreure informació de temps i potència d'arxius binaris. Inicialment, aquests són generats mitjançant un equip d'instrumentació i es tracten repartits entre els diferents nodes. Per a la distribució del treball s'utilitza l'entorn Hadoop i la programació en Java de les funcions MapReduce que permeten guardar de manera distribuïda la informació en el sistema de fitxers HDFS. Per acabar, la interfície web permet l'accés a aquesta informació a partir d'una estampa temporal inicial i una de final que s'utilitzen per generar el gràfic lineal d'aquest rang. El sistema resultant és viable i executa el procés en condicions en les que cal afegir control d'errors. La feina es distribueix entre els nodes correctament i evidencia la possibilitat d'ús de Hadoop amb fitxers diferents als textuals.
El objetivo del proyecto se centra en el diseño y la implementación de un sistema Big Data poco convencional capaz de extraer información de tiempo y potencia de archivos binarios. Inicialmente, estos son generados mediante un equipo de instrumentación y se tratan repartidos entre los diferentes nodos. Para la distribución del trabajo se utiliza el entorno Hadoop y la programación en Java de las funciones MapReduce que permiten guardar de forma distribuida la información en el sistema de archivos HDFS. Por último, la interfaz web permite el acceso a esta información a partir de una estampa temporal inicial y una final que se utilizan para generar el gráfico lineal de este rango. El sistema resultante es viable y ejecuta el proceso en condiciones en las que hay que añadir control de errores. El trabajo se distribuye entre los nodos correctamente y evidencia la posibilidad de uso de Hadoop con archivos diferentes a los textuales.
Hadoop
MapReduce
big data
big data
big data
Java
Java
Java
Hadoop
Hadoop
MapReduce
MapReduce
Application software -- Development -- TFG
Programari d'aplicació -- Desenvolupament -- TFG
Software de aplicación -- Desarrollo -- TFG
http://creativecommons.org/licenses/by-sa/3.0/es/
Bachelor thesis
Universitat Oberta de Catalunya
         

Show full item record

 

Coordination

 

Supporters