Σχεδίαση και υλοποίηση ροών εργασιών βασισμένων σε  κατευθυνόμενους άκυκλους γράφους. Εφαρμογή των αλληλοεξαρτήσεων δεδομένων και των διεργασιών των συστημάτων ερευνητικού προγράμματος

Κουτάνης, Άγγελος

dc.contributor.advisor	Γιαννακόπουλος, Παναγιώτης
dc.contributor.author	Κουτάνης, Άγγελος
dc.date.accessioned	2021-10-27T07:17:40Z
dc.date.available	2021-10-27T07:17:40Z
dc.date.issued	2021-10-11
dc.identifier.uri	https://polynoe.lib.uniwa.gr/xmlui/handle/11400/1445
dc.identifier.uri	http://dx.doi.org/10.26265/polynoe-1296
dc.description.abstract	Τα τελευταία χρόνια ο όγκος δεδομένων που διαχειρίζονται οι επιχειρήσεις και οργανισμοί είναι τεράστιος. Συνήθως, τα δεδομένα αυτά προκύπτουν από διάφορες πηγές και σε διάφορες μορφές και πρέπει να επεξεργαστούν προκειμένου να τροφοδοτήσουν μετέπειτα άλλα συστήματα. Για να γίνει αυτό πρέπει να εκτελεστούν κάποιες διεργασίες, οι οποίες λαμβάνουν αυτά τα δεδομένα, τα επεξεργάζονται και τα μεταφέρουν στον προορισμό τους. Το σύνολο αυτών των διεργασιών χαρακτηρίζεται ως σωληναγωγός δεδομένων (Data Pipeline). Για τον σχεδιασμό, την επίβλεψη και τον προγραμματισμό τέτοιων σωληναγωγών χρησιμοποιούνται πλατφόρμες ενορχήστρωσης ροών εργασιών (Workflow Orchestration Platforms) ή αλλιώς συστήματα διαχείρισης ροών εργασιών (Workflow Management Systems - WfMS). Η εργασία αυτή ερευνά το πεδίο της μηχανικής δεδομένων που ασχολείται συγκεκριμένα με την κατασκευή των σωληναγωγών και εξετάζει κάποιες από τις πιο δημοφιλείς ανοιχτού κώδικα πλατφόρμες ενορχήστρωσης ροών εργασιών. Επιπλέον, επιλέγεται η κατάλληλη πλατφόρμα ενορχήστρωσης ροών εργασιών για να χρησιμοποιηθεί στην ανάπτυξη του εργαλείου Hyperion Community Engagement Tool, ενός εργαλείου που είναι μέρος του Hyperion Project, το οποίο αφορά την προστασία των χώρων πολιτιστικής κληρονομιάς. Τέλος, γίνεται ανάλυση απαιτήσεων, σχεδιασμός και υλοποίηση των διεργασιών που αποτελούν τον σωληναγωγό δεδομένων και υλοποίηση αυτού με την επιλεγμένη πλατφόρμα ενορχήστρωσης ροών εργασιών.	el
dc.format.extent	117	el
dc.language.iso	el	el
dc.publisher	Πανεπιστήμιο Δυτικής Αττικής	el
dc.rights	Αναφορά Δημιουργού - Μη Εμπορική Χρήση - Παρόμοια Διανομή 4.0 Διεθνές	*
dc.rights	Attribution-NonCommercial-NoDerivatives 4.0 Διεθνές	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/4.0/	*
dc.subject	Data pipelines	el
dc.subject	Workflow management systems	el
dc.subject	Process scheduling	el
dc.subject	Workflow orchestration platforms	el
dc.subject	Data processing	el
dc.title	Σχεδίαση και υλοποίηση ροών εργασιών βασισμένων σε κατευθυνόμενους άκυκλους γράφους. Εφαρμογή των αλληλοεξαρτήσεων δεδομένων και των διεργασιών των συστημάτων ερευνητικού προγράμματος	el
dc.title.alternative	Design and Implementation of DAG-based workflows. Application of the interdependencies according to the existing data and tasks for an H2020 project	el
dc.type	Διπλωματική εργασία	el
dc.contributor.committee	Πρεζεράκος, Γεώργιος
dc.contributor.committee	Βουλόδημος, Αθανάσιος
dc.contributor.faculty	Σχολή Μηχανικών	el
dc.contributor.department	Τμήμα Μηχανικών Πληροφορικής και Υπολογιστών	el
dc.description.abstracttranslated	In recent years the amount of data that companies and organizations are managing is enormous. Usually, these data belong to numerous data sources and can have different formats. It is important that these data will be processed and validated before feeding other systems. In order to make this happen, the orchestration and execution of tasks is necessary. These tasks are retrieving the data from all these sources, processing them and delivering them to the appropriate destination. This set of processes assembles a data pipeline. For the implementation and monitoring of data pipelines there are numerous open-source Workflow Orchestration platforms available. This thesis reviews the field of Data Engineering regarding the fundamentals of data pipelines, as well as, investigates some of the most famous Workflow orchestration platforms. Additionally, the most suitable Workflow Orchestration Platform is picked to implement a data pipeline for the Hyperion Community Engagement Tool. This tool is part of Hyperion Project, a real-life project that helps to protect cultural heritage sites. Finally, before the implementation of the data pipeline; the analysis and definition of requirements for each task is taking place and then the procedure continues further with the implementation of the data pipeline according to the most suitable workflow orchestration platform.	el

Files in this item

Name:: ice_711161027.pdf
Size:: 3.229Mb
Format:: PDF

View/Open

This item appears in the following Collection(s)

Διπλωματικές εργασίες
Διπλωματικές εργασίες τμήματος Μηχανικών Πληροφορικής και Υπολογιστών

Show simple item record

Except where otherwise noted, this item's license is described as
Αναφορά Δημιουργού - Μη Εμπορική Χρήση - Παρόμοια Διανομή 4.0 Διεθνές