Implementierung eines File Managers für das Hadoop Distributed Filesystem und Realisierung einer MapReduce Workflow Submission-Komponente

Authors: 
Fischer, Axel
Year: 
2012
Language: 
German
Abstract in English: 
This Bachelor's Thesis describes how a non-blocking file manager for the Hadoop distributed filesystem (HDFS) in the context of the Dedoop project is developed. The file managers features include the handling of the basic use cases refresh, rename, move and delete as well as upload and download of files to the users filesystem. Attention had to be paid to the special requirements of the expected multi-user mode. Furthermore this thesis describes the development of MapReduce workflow submission component for Dedoop which is responsible for submitting and scheduling user generated workflows to a MapReduce cluster. In this juncture attention had to be paid to the requirements of multi-user and multi-cluster mode.
Abstract: 
Die vorliegende Bachelorarbeit erläutert die Entwicklung eines File Managers für das Hadoop Distributed Filesystem (HDFS) im Zusammenhang mit der Entwicklung des Dedoop Prototyps. Der File Manager deckt die Anwendungsfälle refresh, rename, move und delete ab. Darüber hinaus erlaubt er Uploads vom und Downloads zum lokalen Dateisystem des Anwenders. Besonders beachtet werden mussten hierbei die speziellen Anforderungen des Mehrbenutzerbetriebs. Darüber hinaus beschreibt die Bachelorarbeit die Entwicklung einer MapReduce Workflow Submission-Komponente für Dedoop, welche für die Übertragung und Ausführung der vom Anwender erzeugten Worflows verantworklich ist. Auch hierbei mussten die Anforderungen des Mehrbenutzer- und Multi-Cluster-Betriebs beachtet werden.
AttachmentSize
bachelors_thesis_-_implementierung_eines_file_managers_fur_das_hadoop_distributed_filesystem_und_realisierung_einer_mapreduce_workflow_submission-komponente.pdf1.09 MB