Transformer models for Greek and English language understanding
Μοντέλα μετασχηματιστών για την κατανόηση Ελληνικής και Αγγλικής γλώσσας
Μεταπτυχιακή διπλωματική εργασία
Author
Μαγειρίδης, Χαράλαμπος
Date
2024-02-27Advisor
Tselenti, PanagiotaKeywords
Transformers ; Sentiment analysis ; NLPAbstract
This thesis examines the effectiveness of Transformer models in natural lan-
guage processing (NLP), focusing on text classification and sentiment analysis for
both Greek and English texts. It marks a significant advancement in NLP by
demonstrating how Transformers, through their self-attention mechanisms, offer a
superior approach to understanding context and relationships within language com-
pared to traditional RNN architectures.Through a detailed exploration of several
Transformer models, such as BERT, RoBERTa, and GPT-2, and their comparison
with RNNs, this study evaluates their performance across different languages and
text types. Fine-tuning language-specific pretrained versions of these models on two
distinct datasets—Greek product reviews and English tweets related to the #metoo
movement—allows for an examination of the adaptability of Transformers to diverse
linguistic challenges. The research ultimately illustrates that Transformer models
significantly outperform traditional RNNs in sentiment analysis, highlighting their
considerable potential to enhance language understanding across varied linguistic
and cultural contexts.
Abstract
Η παρούσα διατριβή εξετάζει την αποτελεσματικότητα των μοντέλων μετασχηματιστών (Transformers) στην επεξεργασία φυσικής γλώσσας (NLP), εστιάζοντας στην ταξινόμηση κειμένων και στην ανάλυση συναισθήματος τόσο για ελληνικά όσο και για αγγλικά κείμενα. Σηματοδοτεί μια σημαντική πρόοδο στο NLP, αποδεικνύοντας πώς οι Transformers, μέσω των μηχανισμών αυτοπροσοχής τους (self-attention), προσφέρουν μια καλύτερη προσέγγιση για την κατανόηση του περιεχομένου και των σχέσεων εντός της γλώσσας σε σύγκριση με τις παραδοσιακές αρχιτεκτονικές RNN. Μέσα από μια λεπτομερή εξερεύνηση αρκετών μοντέλων Transformer, όπως BERT, RoBERTa , και GPT-2, και τη σύγκριση τους με τα RNNs, αυτή η μελέτη αξιολογεί την απόδοσή τους σε διαφορετικές γλώσσες και τύπους κειμένου.
Τα παραπάνω μοντέλα έχουν γίνει pretrained σε δύο γλώσσες, Ελληνικά και Αγγλικά και έπειτα έχουν γίνει finetuned σε δύο σύνολα δεδομένων, ένα Ελληνικό σύνολο δεδομένων σχετικά με αξιολογήσεις χρηστών σε προϊόντα και ένα Αγγλικό σύνολο δεδομένων από tweets σχετικά με το κίνημα #metoo, το οποίο επιτρέπει την εξέταση της προσαρμοστικότητας των Transformers σε διάφορες γλωσσικές προκλήσεις.
Η έρευνα τελικά αποδεικνύει ότι τα μοντέλα Transformer ξεπερνούν σημαντικά τα παραδοσιακά RNN στην ανάλυση συναισθήματος υπογραμμίζοντας τις σημαντικές δυνατότητές στην κατανόηση της γλώσσας σε ποικίλα γλωσσικά και πολιτισμικά πλαίσια.
Number of pages
61Faculty
Σχολή ΜηχανικώνAcademic Department
Τμήμα Μηχανικών Πληροφορικής και ΥπολογιστώνΤμήμα Μηχανικών Τοπογραφίας και Γεωπληροφορικής