Παράλληλοι αλγόριθμοι κατηγοριοποίησης κειμένου σε κατανεμημένο περιβάλλον με χρήση Spark

Πλάντζα, Παναγιώτα Δανάη

dc.contributor.advisor	Mamalis, Basilis
dc.contributor.author	Πλάντζα, Παναγιώτα Δανάη
dc.date.accessioned	2023-06-12T06:59:16Z
dc.date.available	2023-06-12T06:59:16Z
dc.date.issued	2022-07-21
dc.identifier.uri	https://polynoe.lib.uniwa.gr/xmlui/handle/11400/4476
dc.identifier.uri	http://dx.doi.org/10.26265/polynoe-4314
dc.description.abstract	Η παρούσα διπλωματική εργασία ασχολείται με την παράλλη κατηγοριοποίησης κειμένου σε κατανεμημένο περιβάλλον. Μελετήθηκε η εξαγωγή χαρακτηριστικών από κείμενο και η κατηγοριοποίηση του κειμένου βάση αυτών των χαρακτηριστικων. Η μελέτη επικεντρώθηκε στο σειριακός αλγόριθμος κατηγοριοποιησης SVΜ, και στους τρόπους παραλληλοποίησης του. Υλοποιήθηκαν 2 εκδόσεις παράλληλου SVM για κατηγοριοποίηση μεταξύ δύο και τριών κλάσεων. Η υλοποίηση των αλγορίθμων εγινε σε περιβάλλον spark. Συλλέχθηκαν Tweets σε μια βάση Cassandra μέσω της διεπαφής του Twitter για Spark. Στη συνέχεια εκπαιδεύτηκαν μοντέλα με τις διαφορετικές εκδόσεις του SVM βάση αυτών των δεδομένων και τέλος συγκρίθηκε η απόδοση των μοντέλων σε χρόνο και ακρίβεια.	el
dc.format.extent	68	el
dc.language.iso	el	el
dc.publisher	Πανεπιστήμιο Δυτικής Αττικής	el
dc.rights	Αναφορά Δημιουργού - Μη Εμπορική Χρήση - Παρόμοια Διανομή 4.0 Διεθνές	*
dc.rights	Αναφορά Δημιουργού - Παρόμοια Διανομή 4.0 Διεθνές	*
dc.rights	Αναφορά Δημιουργού 4.0 Διεθνές	*
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση 4.0 Διεθνές	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc/4.0/	*
dc.subject	Παράλληλη επεξεργασία	el
dc.subject	Παράλληλος αλγόριθμος	el
dc.subject	Ταξινόμηση	el
dc.subject	Κατηγοριοποίηση	el
dc.subject	Svm	el
dc.subject	Smo	el
dc.subject	Cassandra	el
dc.subject	Tweeter	el
dc.title	Παράλληλοι αλγόριθμοι κατηγοριοποίησης κειμένου σε κατανεμημένο περιβάλλον με χρήση Spark	el
dc.title.alternative	Parallel text classification algorithms in distributed environments using Spark	el
dc.type	Μεταπτυχιακή διπλωματική εργασία	el
dc.contributor.committee	Pantziou, Grammati
dc.contributor.committee	Kantzavelou, Ioanna
dc.contributor.faculty	Σχολή Μηχανικών	el
dc.contributor.department	Τμήμα Μηχανικών Πληροφορικής και Υπολογιστών	el
dc.contributor.master	Επιστήμη και Τεχνολογία της Πληροφορικής και των Υπολογιστών	el
dc.description.abstracttranslated	This thesis deals with the parallel classification of text in a distributed environment. It studies the extraction of features from text and the use of these features to classify the text. The study focuses on the serial SVM classification algorithm, and researches techniques to parallelize it. Two versions of parallel SVM were implemented for text classification between two and three classes. The algorithms were implemented with the use of Spark engine. To analyze the performance of implemented algorithms tweets were collected on a cassandra database via the Spark Twitter Streaming API. With this dataset we trained a model for each case with different versions of SVM. Finally the performance of the models was compared in time and accuracy on a diffrent dataset	el

Αρχεία σε αυτό το τεκμήριο

Όνομα:: ΔιπλωματικήΠλαντζα_thesis - ...
Μέγεθος:: 910.6Kb
Τύπος:: PDF

Προβολή/Άνοιγμα

Αυτό το τεκμήριο εμφανίζεται στις ακόλουθες συλλογές

Μεταπτυχιακές διπλωματικές εργασίες - Επιστήμη και Τεχνολογία της Πληροφορικής και των Υπολογιστών
Μεταπτυχιακές διπλωματικές εργασίες ΠΜΣ Επιστήμη και Τεχνολογία της Πληροφορικής και των Υπολογιστών

Εμφάνιση απλής εγγραφής

Αναφορά Δημιουργού - Μη Εμπορική Χρήση - Παρόμοια Διανομή 4.0 Διεθνές

Εκτός από όπου επισημαίνεται κάτι διαφορετικό, το τεκμήριο διανέμεται με την ακόλουθη άδεια:
Αναφορά Δημιουργού - Μη Εμπορική Χρήση - Παρόμοια Διανομή 4.0 Διεθνές