Αναγνώριση συναισθήματος στην αλληλεπίδραση ανθρώπου-ρομπότ με την χρήση του NAO

Βαλαγκούτη, Ηρώ-Αθηνά

Emotion recognition for human-robot interaction with NAO robot

Διπλωματική εργασία

Author

Βαλαγκούτη, Ηρώ-Αθηνά

Date

2021-07

Advisor

Σγουροπούλου, Κλειώ
Troussas, Christos

Διπλωματική εργασία (1.434Mb)

Keywords

Ρομπότ NAO ; DeepFace ; Sockets ; Νευρωνικά δίκτυα ; Αναγνώριση συναισθήματος

Abstract

Στην παρούσα διπλωματική εργασία μελετήθηκε η δυνατότητα σύνδεσης του ανθρωποειδούς ρομπότ NAO με ήδη υπάρχων νευρωνικό δίκτυο. Ο τελικός στόχος ήταν η αναγνώριση των έξι βασικών συναισθημάτων σε ανθρώπους: χαρά, φόβος, λύπη, έκπληξη, αηδία και θυμός, όπως επίσης και η ουδετερότητα, με σκοπό να χρησιμοποιηθεί σε όλων των ειδών εφαρμογές, για άτομα που χρήζουν βοήθεια, για μαθητές ή για ψυχαγωγία. Εκτός από την χρήση του NAO, η μεθοδολογία που ακολουθήθηκε χρησιμοποίησε τεχνολογίες όπως sockets, νευρωνικά δίκτυα και τα διαθέσιμα modules του NAO, προκειμένου να κατασκευαστεί μία αρχιτεκτονική τύπου client-server που θα επιτρέψει αποστολή δεδομένων από και προς το ρομπότ. Το τελικό πρόγραμμα που κατασκευάστηκε περιλαμβάνει συζήτηση με τον άνθρωπο, λήψη της φωτογραφίας του και ανάλυση του συναισθήματός του με χρήση του DeepFace API. Τέλος, για την λήψη δεδομένων υπό κανονικές συνθήκες και μετέπειτα αξιολόγηση της αποτελεσματικότητας της εργασίας, πραγματοποιήθηκε παράδειγμα εφαρμογής του λογισμικού σε ένα φεστιβάλ. Συγκεκριμένα, επιχειρήθηκε η αναγνώριση των συναισθημάτων των παρευρισκόμενων μετά από την αλληλεπίδρασή τους με το ρομπότ με ικανοποιητικά αποτελέσματα.

Abstract

In the present diploma thesis, the possibility of connecting the humanoid robot NAO with an already existing neural network was studied. The ultimate goal was to identify the six basic emotions in people: joy, fear, sadness, surprise, disgust and anger, as well as neutrality, to be used in all kinds of applications, for people in need of medical care, for students or for entertainment. In addition to using NAO, the methodology used technologies such as sockets, neural networks and available NAO modules to build a client-server architecture that would allow data to be sent to and from the robot. The final program that was created consists of a discussion with a human, taking his photo and analyzing his emotion using the DeepFace API. Finally, in order to obtain data under real-life conditions and subsequently evaluate the effectiveness of the project, an example of software application was performed at a festival. Specifically, an attempt was made to identify the emotions of the attendees after their interaction with the robot. The results were satisfactory.