Εφαρμογή για την αναγνώριση αντικειμένων σε κινητές συσκευές με χρήση μηχανικής μάθησης

Abstract

Με την ανάπτυξη της τεχνολογίας και την μεγάλη εξάπλωση των κινητών συσκευών ένα μεγάλο μέρος του πληθυσμού έχει έρθει σε επαφή με πλήθος νέων τεχνολογιών, οι οποίες παλαιότερα ήταν διαθέσιμες μόνο μέσω τη χρήσης εξειδικευμένων συσκευών ή δεν ήταν καθόλου προσβάσιμες. Μία τεχνολογία που έγινε εύκολα διαθέσιμη με την ανάπτυξη των κινητών συσκευών είναι η όραση υπολογιστών. Στην παρούσα εργασία θα παρουσιαστεί η ανάπτυξη ενός εκπαιδευτικού λογισμικού για κινητές συσκευές που χρησιμοποιούν το λειτουργικό σύστημα Android, το οποίο θα βοηθάει τους χρήστες στην αναγνώριση αντικειμένων μέσα από μια φωτογραφία, θα τα σημειώνει πάνω σε αυτήν και θα αναφέρει από κάτω τις τρεις καλύτερες απαντήσεις με αναφορά του ποσοστού σιγουριάς ανά αντικείμενο. Το συγκεκριμένο λογισμικό θεωρείται εκπαιδευτικό, διότι μπορεί να χρησιμοποιηθεί ως βοήθημα αλλά και ως εργαλείο από τους χρήστες ,ώστε να αναγνωρίσουν τα αντικείμενα στο χώρο τους. Επιπλέον, μπορεί να βοηθήσει στην αναγνώριση ηλεκτρονικών ειδών από άτομα που δεν διαθέτουν την ανάλογη γνώση. Για την επίτευξη του στόχου της εργασίας η εφαρμογή γράφτηκε με χρήση της γλώσσας προγραμματισμού Kotlin. Ακόμα αξιοποιήθηκαν οι τεχνολογίες AutoML της Google, για την εκπαίδευση των μοντέλων μηχανικής μάθησης, αλλά και τα εργαλεία για αναγνώριση αντικειμένων και για επισήμανση εικόνων του Google Machine Learning Kit. Για την εκπαίδευση των μοντέλων μηχανικής μάθησης χρησιμοποιήθηκαν το σετ δεδομένων CIFAR – 100, ένα σύνολο δεδομένων με ηλεκτρονικά είδη και ένα σύνολο δεδομένων με πέντε διαφορετικούς τύπους λουλουδιών. Κατά τη χρήση της εφαρμογής διαπιστώθηκε ότι αναγνωρίζονται κατά πλειοψηφία τα αντικείμενα στις εικόνες που δοκιμάστηκαν. Στο πρώτο μοντέλο μηχανικής μάθησης, με τα συνηθισμένα αντικείμενα, παρατηρήθηκε ότι αν το αντικείμενο ανήκει σε κάποια κατηγορία από αυτές που περιέχει το μοντέλο, τότε η σωστή απάντηση εμφανίζεται στις τρεις πρώτες προβλέψεις. Στο δεύτερο μοντέλο μηχανικής μάθησης, με τα ηλεκτρονικά είδη, παρατηρήθηκαν οι περισσότερες λανθασμένες προβλέψεις κυρίως λόγω του περιορισμού ανίχνευσης των αντικειμένων. Στο τελευταίο μοντέλο μηχανικής μάθησης, με τα λουλούδια, παρατηρήθηκε 100% επιτυχία αναγνώρισης των αντικειμένων εξαιτίας του μικρού αριθμού κατηγοριών.