Αναγνώριση συναισθημάτων με μηχανική μάθηση

Παπάζογλου, Αλέξανδρος

Emotion recognition with machine learning

Διπλωματική εργασία

Author

Παπάζογλου, Αλέξανδρος

Date

2022-03-15

Advisor

Nikolaou, Grigoris

idpe_71447497.pdf (7.194Mb)

Keywords

Τεχνητή νοημοσύνη ; Μηχανική μάθηση ; Βαθιά μάθηση ; Συνελικτικά νευρωνικά δίκτυα ; Αναγνώριση συναισθήματος ; DeepFace ; VGG ; VGGFace ; FaceNet ; OpenFace ; Μεταφορά μάθησης ; Artificial intelligence ; Machine learning ; Deep learning ; CNN

Abstract

Η δυνατότητα των ρομπότ να αναγνωρίζουν συναισθήματα θα παίξει καθοριστικό ρόλο στην ανάπτυξη και δημιουργία ρομπότ που θα ειδικεύονται στην παροχή ειδικών υπηρεσιών στα επερχόμενα χρόνια. Παρ’ όλα αυτά, δεν έχουμε κατορθώσει την αναγνώριση μερικών συναισθημάτων σε ικανοποιητικό επίπεδο ακόμα. Για αυτόν τον λόγο δεν έχουν παρουσιαστεί ακόμα στην αγορά! Αλλά πρέπει να αναλογιστούμε το εξής, αν η αναγνώριση συναισθημάτων αποτελεί μια απαιτητική δοκιμασία για τους ανθρώπους, θα είναι ακόμα πιο δύσκολη για τα ρομπότ, δεδομένου ότι δεν μπορούν να νιώσουν συναισθήματα ή συμπόνια. Για την αναγνώριση συναισθημάτων χρησιμοποιούνται η βαθιά και η μηχανική μάθηση. Μπορούν όμως αυτές οι δύο να αναγνωρίσουν με καλή απόδοση τις διάφορες εκφράσεις του προσώπου/ συναισθήματα μας; Στην παρούσα διπλωματική εργασία, μελετήθηκαν τα σύγχρονα κορυφαία μοντέλα που αναγνωρίζουν τα 6 βασικά συναισθήματα (χαρά, λύπη, φόβος, θυμός, έκπληξη ,αηδία αλλά και ουδετερότητα),και έγινε σύγκριση τους ως προς την αρχιτεκτονική τους, την αποδοτικότητα τους καθώς και την χρησιμότητα τους στην καθημερινότητα. Στην συνέχεια, έγινε χρήση μερικών εκ των προ εκπαιδευμένων μοντέλων τόσο στο σετ δεδομένων FER2013 όσο και σε φωτογραφίες δικές μου για να δούμε και να τεστάρουμε πόσο καλά λειτουργεί η συγκεκριμένη τεχνολογία. Επίσης επιχειρήθηκε η δημιουργία δικού μου μοντέλου με την χρήση νευρωνικών δικτύων και “μεταφοράς μάθησης" με τον στόχο ξανά της αναγνώρισης συναισθημάτων τόσο από φωτογραφίες όσο και σε πραγματικό χρόνο! Τα αποτελέσματα ήταν σχετικά μέτρια καθώς δεν είχα τον απαραίτητο/ιδανικό εξοπλισμό για την δημιουργία και εν συνεχεία εκπαίδευση μοντέλου!

Abstract

The ability of robots to recognize emotions will be vital for the creation and development of robots that specialize in providing special services in the coming years. However, we have not achieved the recognition of certain emotions in a sufficiently effective way yet. Therefore, they haven’t been introduced in the market. But we need to consider this, if emotion recognition is a very challenging task even for people, it is even more for robots, since they do not feel any emotion and can’t empathize. For the sake of emotion recognition, Deep learning and Machine learning are being used. However, can Deep learning and Machine learning recognize our emotions/facial expressions efficiently? In the present thesis, the current state-state-of-the-art pre-trained models that recognize the 6 basic emotions (joy, sadness, fear, anger, surprise, disgust, and neutrality) were studied and compared with regard to their architecture, efficiency and handiness in everyday life. Moreover, some of the pre-trained models were used both in the FER2013 dataset as well as in personal photographs, to see and test how well this technology works. Also, i tried to create my own model using convolutional neural networks (CNN) and “transfer learning” with the common goal of recognizing emotions from photos and in real time(video)! The results were relatively modest as I did not have the necessary/ideal equipment for creating and training my model!