Διαχείριση μεγάλων δεδομένων από το Twitter και εξόρυξη δεδομένων

Abstract

Η παρούσα διπλωματική εξετάζει την ενσωμάτωση του ισχυρού οικοσυστήματος του Hadoop με την επεξεργασία δεδομένων από το Twitter σε πραγματικό χρόνο, που στη συνέχεια διαχειρίζονται από το πρότυπο του MapReduce. Ο πρωταρχικός στόχος αυτής της έρευνας είναι να εντοπίσει σημαντικές πληροφορίες που κρύβονται μέσα σε μεγάλες και διαρκώς μεταβαλλόμενες πηγές δεδομένων. Στο δεύτερο κεφάλαιο παραθέτονται τα προβλήματα των Μεγάλων Δεδομένων (Big Data), τονίζοντας τους κρίσιμους ρόλους του HDFS και του YARN. Η μελέτη επικεντρώνεται στη δυναμική φύση των δεδομένων του Twitter, με ιδιαίτερη έμφαση στον στρατηγικό ρόλο του Kafka στον συντονισμό των δεδομένων. Εντός αυτού του πλαισίου, το τρίτο κεφάλαιο τονίζει τη θεμελιώδη σημασία του MapReduce, το οποίο έχει επαινεθεί για τις εξαιρετικές του ικανότητες στην υποστήριξη της παράλληλης επεξεργασίας. Επίσης, η έρευνα διευρύνει το πεδίο της ανάλυσης δεδομένων εξερευνώντας πολύπλοκους αλγορίθμους ομαδοποίησης (clustering) και ταξινόμησης (classification), οι οποίοι είναι κρίσιμα εργαλεία για τη συλλογή ωφέλιμων δεδομένων από τον καταιγισμό των πληροφοριών και δεδομένων. Τα επόμενα κεφάλαια εξετάζουν την πραγματική υλοποίηση της μελέτης. Στο τέταρτο και πέμπτο Κεφάλαιο, αποκαλύπτεται το αρχιτεκτονικό σχέδιο, παρέχοντας την απαραίτητη ανάλυση πάνω στο σχεδιασμό. Στο Κεφάλαιο έκτο, αναλύονται προσεκτικά τα δεδομένα του Twitter και τα αποτελέσματα που έχουν εξαχθεί. Το τελευταίο και έβδομο κεφάλαιο ασχολού- μαστε με την πρακτική εφαρμογή, διευρύνοντας το πεδίο για την καθιέρωση ενός συστήματος ολοκληρωμένης αξιολόγησης.