Ανάπτυξη μοντέλου βαθιάς μηχανικής μάθησης για την αναγνώριση της συναισθηματικής κατάστασης του χρήστη από τις εκφράσεις προσώπου

Μάρος, Γρηγόριος

Develop a deep learning model towards user's emotion recognition from facial expressions

Μεταπτυχιακή διπλωματική εργασία

Author

Μάρος, Γρηγόριος

Date

2023-03

Advisor

Feidakis, Michalis

MSC_Thesis_MAROS_GRIGORIOS_0008.pdf (1.810Mb)

Keywords

Βαθιά μάθηση ; Τεχνητή νοημοσύνη ; Μηχανική μάθηση ; Υπολογιστική όραση ; Αναγνώριση συναισθήματος ; Συναισθηματική νοημοσύνη ; Εκφράσεις προσώπου ; AffectNet ; Deep learning

Abstract

Η αναγνώριση συναισθημάτων από τις εκφράσεις του προσώπου είναι ένα δύσκολο έργο που έχει αποτελέσει αντικείμενο εκτεταμένης έρευνας τα τελευταία χρόνια. Στην παρούσα διπλωματική, αναπτύσσουμε ένα μοντέλο βαθιάς μάθησης για την αναγνώριση των συναισθημάτων του χρήστη από τις εκφράσεις του προσώπου χρησιμοποιώντας δύο διαθέσιμα σύνολα δεδομένων: Affectnet και Fer2013. Εστιάζουμε στα συνελικτικά νευρωνικά δίκτυα (CNN) ως την κύρια μέθοδο μας για την εκπαίδευση του μοντέλου, το οποίο έχει δείξει εξαιρετικά αποτελέσματα σε προηγούμενες έρευνες για την αναγνώριση συναισθημάτων από το πρόσωπο. Στόχος μας είναι να διερευνήσουμε τις δυνατότητες της βαθιάς μάθησης σε αυτόν τον τομέα και να δημιουργήσουμε ένα μοντέλο που μπορεί να ταξινομήσει με ακρίβεια τα συναισθήματα ενός χρήστη από τις εικόνες του προσώπου. Εξετάζουμε και αναλύουμε πρόσφατες έρευνες στον τομέα της βαθιάς μάθησης και της αναγνώρισης συναισθημάτων και προτείνουμε μια αρχιτεκτονική CNN. Αξιολογούμε την απόδοση του μοντέλου μας στα δύο σύνολα δεδομένων και τη συγκρίνουμε με άλλες μεθόδους αιχμής. Αν και το μοντέλο μας δεν ξεπέρασε τις υπάρχουσες μεθόδους όσον αφορά την ακρίβεια, τα αποτελέσματά μας δείχνουν ότι πέτυχε ανταγωνιστικές επιδόσεις και παρέχει μια εναλλακτική προσέγγιση στο πρόβλημα. Διερευνούμε επίσης την επίδραση διαφορετικών παραμέτρων, όπως το μέγεθος παρτίδας (batch size), ο ρυθμός εκμάθησης (learning rate ) και η εγκατάλειψη (dropout), στην ακρίβεια του μοντέλου. Η παρούσα διπλωματική εργασία συμβάλλει στον τομέα της αναγνώρισης συναισθημάτων και της βαθιάς μάθησης παρέχοντας μια ολοκληρωμένη ανάλυση της αποτελεσματικότητας των CNN για την αναγνώριση συναισθημάτων προσώπου, και προτείνει ένα αποτελεσματικό και ακριβές μοντέλο, εντοπίζοντας τομείς για περαιτέρω βελτίωση σε αυτό το ερευνητικό πεδίο.

Abstract

Emotion recognition from facial expressions is a challenging task that has been the subject of extensive research in recent years. In this thesis, we develop a deep learning model for user's emotion recognition from facial expressions using two publicly available datasets: AffectNet and Fer2013. We focus on convolutional neural networks (CNN) as our primary method for training the model, which has shown excellent results in previous research on facial emotion recognition. Our goal is to explore the potential of deep learning in this domain and to create a model that can accurately classify a user's emotions from facial images. We review and analyze recent research in the field of deep learning and emotion recognition, and we propose a CNN architecture that includes several layers of convolutions and pooling, followed by fully connected layers. We evaluate the performance of our model on the two datasets and compare it with the state-of-the-art methods. Although our model did not outperform the existing methods in terms of accuracy, our results show that it achieved competitive performance and provides an alternative approach to the problem. We also investigate the impact of different parameters, such as batch size, learning rate, and dropout, on the model's accuracy. This thesis contributes to the field of emotion recognition and deep learning by providing a comprehensive analysis of the effectiveness of CNNs for facial emotion recognition and proposing an efficient and accurate model, as well as identifying areas for further improvement in this research field.