Show simple item record

Transformer models for Greek and English language understanding

dc.contributor.advisorTselenti, Panagiota
dc.contributor.authorΜαγειρίδης, Χαράλαμπος
dc.date.accessioned2024-03-26T07:50:27Z
dc.date.available2024-03-26T07:50:27Z
dc.date.issued2024-02-27
dc.identifier.urihttps://polynoe.lib.uniwa.gr/xmlui/handle/11400/6157
dc.identifier.urihttp://dx.doi.org/10.26265/polynoe-5993
dc.description.abstractThis thesis examines the effectiveness of Transformer models in natural lan- guage processing (NLP), focusing on text classification and sentiment analysis for both Greek and English texts. It marks a significant advancement in NLP by demonstrating how Transformers, through their self-attention mechanisms, offer a superior approach to understanding context and relationships within language com- pared to traditional RNN architectures.Through a detailed exploration of several Transformer models, such as BERT, RoBERTa, and GPT-2, and their comparison with RNNs, this study evaluates their performance across different languages and text types. Fine-tuning language-specific pretrained versions of these models on two distinct datasets—Greek product reviews and English tweets related to the #metoo movement—allows for an examination of the adaptability of Transformers to diverse linguistic challenges. The research ultimately illustrates that Transformer models significantly outperform traditional RNNs in sentiment analysis, highlighting their considerable potential to enhance language understanding across varied linguistic and cultural contexts.el
dc.format.extent61el
dc.publisherΠανεπιστήμιο Δυτικής Αττικήςel
dc.publisherUniversité de Limogesel
dc.rightsΑναφορά Δημιουργού - Μη Εμπορική Χρήση - Παρόμοια Διανομή 4.0 Διεθνές*
dc.rights.urihttps://creativecommons.org/licenses/by-nc-sa/4.0/deed.el*
dc.subjectTransformersel
dc.subjectSentiment analysisel
dc.subjectNLPel
dc.titleTransformer models for Greek and English language understandingel
dc.title.alternativeΜοντέλα μετασχηματιστών για την κατανόηση Ελληνικής και Αγγλικής γλώσσαςel
dc.typeΜεταπτυχιακή διπλωματική εργασίαel
dc.contributor.committeeΜαστοροκώστας, Πάρις
dc.contributor.committeeKesidis, Anastasios
dc.contributor.facultyΣχολή Μηχανικώνel
dc.contributor.departmentΤμήμα Μηχανικών Πληροφορικής και Υπολογιστώνel
dc.contributor.departmentΤμήμα Μηχανικών Τοπογραφίας και Γεωπληροφορικήςel
dc.contributor.masterΤεχνητή Νοημοσύνη και Οπτική Υπολογιστικήel
dc.description.abstracttranslatedΗ παρούσα διατριβή εξετάζει την αποτελεσματικότητα των μοντέλων μετασχηματιστών (Transformers) στην επεξεργασία φυσικής γλώσσας (NLP), εστιάζοντας στην ταξινόμηση κειμένων και στην ανάλυση συναισθήματος τόσο για ελληνικά όσο και για αγγλικά κείμενα. Σηματοδοτεί μια σημαντική πρόοδο στο NLP, αποδεικνύοντας πώς οι Transformers, μέσω των μηχανισμών αυτοπροσοχής τους (self-attention), προσφέρουν μια καλύτερη προσέγγιση για την κατανόηση του περιεχομένου και των σχέσεων εντός της γλώσσας σε σύγκριση με τις παραδοσιακές αρχιτεκτονικές RNN. Μέσα από μια λεπτομερή εξερεύνηση αρκετών μοντέλων Transformer, όπως BERT, RoBERTa , και GPT-2, και τη σύγκριση τους με τα RNNs, αυτή η μελέτη αξιολογεί την απόδοσή τους σε διαφορετικές γλώσσες και τύπους κειμένου. Τα παραπάνω μοντέλα έχουν γίνει pretrained σε δύο γλώσσες, Ελληνικά και Αγγλικά και έπειτα έχουν γίνει finetuned σε δύο σύνολα δεδομένων, ένα Ελληνικό σύνολο δεδομένων σχετικά με αξιολογήσεις χρηστών σε προϊόντα και ένα Αγγλικό σύνολο δεδομένων από tweets σχετικά με το κίνημα #metoo, το οποίο επιτρέπει την εξέταση της προσαρμοστικότητας των Transformers σε διάφορες γλωσσικές προκλήσεις. Η έρευνα τελικά αποδεικνύει ότι τα μοντέλα Transformer ξεπερνούν σημαντικά τα παραδοσιακά RNN στην ανάλυση συναισθήματος υπογραμμίζοντας τις σημαντικές δυνατότητές στην κατανόηση της γλώσσας σε ποικίλα γλωσσικά και πολιτισμικά πλαίσια.el


Files in this item

Thumbnail

This item appears in the following Collection(s)

Show simple item record

Αναφορά Δημιουργού - Μη Εμπορική Χρήση - Παρόμοια Διανομή 4.0 Διεθνές
Except where otherwise noted, this item's license is described as
Αναφορά Δημιουργού - Μη Εμπορική Χρήση - Παρόμοια Διανομή 4.0 Διεθνές