Σχεδίαση και εφαρμογή κατανεμημένου συστήματος επεξεργασίας δεδομένων κρυπτονομισμάτων σε πραγματικό χρόνο

Πασπάτης, Ιωάννης; Ντουράκη, Ανδριανή

dc.contributor.advisor	Mamalis, Basilis
dc.contributor.author	Πασπάτης, Ιωάννης
dc.contributor.author	Ντουράκη, Ανδριανή
dc.date.accessioned	2024-05-31T06:19:20Z
dc.date.available	2024-05-31T06:19:20Z
dc.date.issued	2024-05-22
dc.identifier.uri	https://polynoe.lib.uniwa.gr/xmlui/handle/11400/6814
dc.identifier.uri	http://dx.doi.org/10.26265/polynoe-6649
dc.description.abstract	Αυτή η διπλωματική εργασία διερευνά τη διασταύρωση των κρυπτονομισμάτων, την τεχνική ανάλυση, τα μεγάλα δεδομένα, τη μηχανική μάθηση και τα κατανεμημένα συστήματα. Ξεκινά με μια επισκόπηση των κρυπτονομισμάτων και την τεχνική ανάλυση, εμβαθύνοντας σε διάφορους δείκτες που χρησιμοποιούνται στην ανάλυση αγοράς. Στη συνέχεια, εμβαθύνει σε έννοιες μεγάλων δεδομένων, συμπεριλαμβανομένων των 3Vs (Volume, Velocity, Variety) και της επέκτασής τους σε 5Vs, μαζί με την αρχιτεκτονική και τα εργαλεία που χρησιμοποιούνται στην ανάλυση μεγάλων δεδομένων, εστιάζοντας ιδιαίτερα στην γλώσσα προγραμματισμού python και σε τεχνικές μηχανικής μάθησης με την χρήση της. Επιπλέον, αναλύει τα κατανεμημένα συστήματα και εργαλεία τους όπως τα Apache Hadoop, Apache Spark, Apache Kafka και MongoDB, δίνοντας έμφαση στον ρόλο τους στη διαχείριση και την αποτελεσματική επεξεργασία μεγάλου όγκου δεδομένων. Περιγράφεται η διαδικασία συλλογής και προεπεξεργασίας δεδομένων, συμπεριλαμβανομένης της χρήσης Yfinance και Kafka για τη συλλογή δεδομένων και τεχνικών για τον καθαρισμό δεδομένων και την εφαρμογή τεχνικών δεικτών. Διερευνώνται μηχανισμοί αποθήκευσης και διαχείρισης για μεγάλα δεδομένα, επισημαίνοντας το Hadoop Distributed File System (HDFS) και το MongoDB. Η διατριβή ολοκληρώνεται με το σχεδιασμό και την υλοποίηση ενός μοντέλου μηχανικής μάθησης χρησιμοποιώντας το Apache Spark, συμπεριλαμβανομένων στρατηγικών ανάπτυξης μοντέλων, αγωγών πρόβλεψης σε πραγματικό χρόνο και ενσωμάτωσης με το MongoDB. Συμπερασματικά, η διατριβή συνοψίζει βασικά ευρήματα, εντοπίζει περιορισμούς και προτείνει πιθανούς τομείς για μελλοντική έρευνα στον τομέα της ανάλυσης κρυπτονομισμάτων, των μεγάλων δεδομένων και της μηχανικής μάθησης.	el
dc.format.extent	120	el
dc.language.iso	el	el
dc.publisher	Πανεπιστήμιο Δυτικής Αττικής	el
dc.rights	Αναφορά Δημιουργού - Μη Εμπορική Χρήση - Παρόμοια Διανομή 4.0 Διεθνές	*
dc.rights.uri	https://creativecommons.org/licenses/by-nc-sa/4.0/deed.el	*
dc.subject	Kρυπτονομίσματα	el
dc.subject	Kατανεμημένα συστήματα	el
dc.subject	Mηχανική μάθηση	el
dc.subject	Μεγάλα δεδομένα	el
dc.title	Σχεδίαση και εφαρμογή κατανεμημένου συστήματος επεξεργασίας δεδομένων κρυπτονομισμάτων σε πραγματικό χρόνο	el
dc.title.alternative	Design and implementation of a distributed real-time cryptocurrency data processing system	el
dc.type	Μεταπτυχιακή διπλωματική εργασία	el
dc.contributor.committee	Pantziou, Grammati
dc.contributor.committee	Bogris, Adonis
dc.contributor.faculty	Σχολή Μηχανικών	el
dc.contributor.department	Τμήμα Μηχανικών Πληροφορικής και Υπολογιστών	el
dc.contributor.master	Δίκτυα Επικοινωνιών Νέας Γενιάς και Κατανεμημένα Περιβάλλοντα Εφαρμογών	el
dc.description.abstracttranslated	This thesis explores the intersection of cryptocurrencies, technical analysis, big data, machine learning and distributed systems. It starts with an overview of cryptocurrencies and technical analysis, delving into various indicators referred to in technical analysis. It then delves into big data concepts, including the 3Vs (Volume, Velocity, Variety) and their extension to 5Vs, along with architecture and tools related to big data analysis, with a particular focus on the python programming language and engineering. In addition, it analyzes distributed systems and their tools such as Apache Hadoop, Apache Spark, Apache Kafka, and MongoDB, emphasizing their role in managing and efficiently processing large volumes of data. The data collection and preprocessing process is described, including the use of Yfinance and Kafka for data collection and techniques for data cleaning and the application of technical indicators. Furthermore, it explores storage and management mechanisms for big data, highlighting Hadoop Distributed File System (HDFS) and MongoDB. The thesis concludes with the design and implementation of a machine learning model using Apache Spark, including model development strategies, real-time prediction pipelines, and integration with MongoDB. In conclusion, the thesis summarizes key findings, identifies limitations, and suggests potential areas for future research in the field of cryptocurrency analytics, big data, and machine learning.	el

Files in this item

Name:: paspatis_21008_ntouraki_21015.pdf
Size:: 1.202Mb
Format:: PDF
Description:: Μεταπτυχιακή Εργασία

View/Open

This item appears in the following Collection(s)

Μεταπτυχιακές διπλωματικές εργασίες - Δίκτυα Επικοινωνιών Νέας Γενιάς και Κατανεμημένα Περιβάλλοντα Εφαρμογών
Μεταπτυχιακές διπλωματικές εργασίες ΠΜΣ Δίκτυα Επικοινωνιών Νέας Γενιάς και Κατανεμημένα Περιβάλλοντα Εφαρμογών

Show simple item record

Except where otherwise noted, this item's license is described as
Αναφορά Δημιουργού - Μη Εμπορική Χρήση - Παρόμοια Διανομή 4.0 Διεθνές