Sign language detection
Αναγνώριση νοηματικής γλώσσας
Μεταπτυχιακή διπλωματική εργασία
Συγγραφέας
Σταμούλης, Στέφανος-Ιωάννης
Ημερομηνία
2023-02Επιβλέπων
Nikolaou, GrigorisΛέξεις-κλειδιά
Greek sign language ; Sign language recognition ; Long short-term memory ; Computer vision ; Machine learning ; Deep learning ; GSL ; LSTMΠερίληψη
Communication is defined as the exchange of information, ideas and feelings.In order for two people to communicate with each other they must understand the same language.When a person is deaf they cannot hear and when they are mute they cannot speak.So in order to communicate with each other these groups of people use sign language.Being the community of the population this makes it difficult for them to communicate with the rest of the world. To overcome this barrier with the technologies that exist today we can create machine learning based models so that a deaf and dumb person with the help of this model can communicate with a normal person without knowing sign language.In this project we propose to create a dataset for Greek sign language phrase and word recognition so that real-time recognition can be performed.Real-time sign language recognition could solve many of the communication problems between deaf and non-deaf people.To achieve the desired result we train a model to
create a real-time recognition system.The model reaches a high level of accuracy even though the data is not very accurate.
Περίληψη
Η επικοινωνία ορίζεται η ανταλλαγή πληροφοριών, ιδεών και συναισθημάτων. Για να μπορέσουν δυο άνθρωποι να επικοινωνήσουν μεταξύ τους θα πρέπει να κατανοούν την ίδια γλώσσα. Στην περίπτωση όμως των κωφάλαλων ο δίαυλος επικοινωνίας είναι διαφορετικός. Όταν ένας άνθρωπος είναι κωφός αδυνατεί να ακούσει και όταν είναι μουγγός αδυνατεί να μιλήσει. Έτσι για να μπορέσουν να επικοινωνήσουν μεταξύ τους αυτές οι ομάδες ανθρώπων χρησιμοποιούν τη νοηματική γλώσσα. Όντας όμως η κοινότητα του πληθυσμού αυτό το καθιστά δύσκολο να επικοινωνήσουν με τον υπόλοιπο κόσμο καθώς ο υπόλοιπος κόσμος δεν κατανοεί την νοηματική γλώσσα οπότε αδυνατεί να υπάρξει δίαυλος επικοινωνίας μεταξύ ενός κωφάλαλου και ενός φυσιολογικού ανθρώπου. Για να ξεπεραστεί αυτό το εμπόδιο με τις τεχνολογίες που υπάρχουν σήμερα μπορούμε να δημιουργήσουμε μοντέλα βασισμένα στη μηχανική μάθηση ώστε ένας κωφάλαλος με τη βοήθεια αυτού του μοντέλου να μπορεί να
επικοινωνήσει με έναν φυσιολογικό άνθρωπο χωρίς να γνωρίζει νοηματική γλώσσα. Στην παρούσα εργασία προτείνεται να δημιουργηθεί ένα σύνολο δεδομένων για αναγνώριση φράσεων και λέξεων της Ελληνικής νοηματικής γλώσσας ώστε να μπορεί να γίνει αναγνώριση σε πραγματικό χρόνο. Η αναγνώριση της νοηματικής γλώσσας σε πραγματικό χρόνο θα μπορούσε να επιλύσει πολλά από τα προβλήματα επικοινωνίας μεταξύ κωφάλαλων ανθρώπων και μη. Για να επιτύχουμε το επιθυμητό αποτέλεσμα εκπαιδεύουμε ένα μοντέλο Tensorflow για να δημιουργήσουμε ένα σύστημα αναγνώρισης σε πραγματικό χρόνο. Το σύστημα επιτυγχάνει ένα καλό επίπεδο ακρίβειας παρόλο που τα δεδομένα που συλλέγουμε δεν είναι πολλά.
Αριθμός σελίδων
45Σχολή
Σχολή ΜηχανικώνΑκαδημαϊκό Τμήμα
Τμήμα Ηλεκτρολόγων και Ηλεκτρονικών ΜηχανικώνΤμήμα Μηχανικών Βιομηχανικής Σχεδίασης και Παραγωγής