Τεχνικές εύρωστης εκμάθησης μετρικών σε χώρους πολλαπλότητας πινάκων συνδιακύμανσης για χρήση σε εφαρμογές ταξινόμησης προτύπων και μηχανικής μάθησης

Καλαϊτζάκης, Αντώνιος

Robust distance measure for similarity-based classification on the SPD manifold

Διπλωματική εργασία

Author

Καλαϊτζάκης, Αντώνιος

Date

2024-03-16

Advisor

Zois, Elias
Alexandridis, Alex

Διπλωματική Εργασία (7.039Mb)

Keywords

Βιομετρική αναγνώριση ; Χειρόγραφη υπογραφή ; Αναγνώριση προτύπων ; Υπολογιστική όραση ; Εκμάθηση μετρικής ; Μεταφορά μάθησης ; Συμμετρική και θετικά ορισμένη πολλαπλότητα ; Symmetric positive definite manifold ; SPD

Abstract

Παρά την εξέλιξη της τεχνολογίας, οι χειρόγραφες υπογραφές αποτελούν εδώ και αιώνες ένα από τα πιο διαδεδομένα μέσα βιομετρικής ταυτοποίησης. Τις τελευταίες δεκαετίες, η ανθρώπινη υπογραφή έχει ενταχτεί στο ψηφιακό κόσμο και ερευνώνται τρόποι για την ανάπτυξη συστημάτων, που εκτελούν αυτόματα τη διαδικασία της αναγνώρισης ατόμων μέσω αυτής. Στην παρούσα διπλωματική εργασία, παρουσιάζεται η υλοποίηση ενός συστήματος ταξινόμησης χειρόγραφων υπογραφών, με τη χρήση ενός πρωτοπόρου αλγόριθμου Αναγνώρισης Προτύπων. Κατά την εφαρμογή αυτή, κατασκευάζεται ένα σύστημα βιομετρικής αναγνώρισης χρηστών, που δέχεται τις χειρόγραφες υπογραφές τους στη μορφή ψηφιακών εικόνων. Η προσέγγιση του προβλήματος της Αναγνώρισης Προτύπων που ακολουθείται από τον παρόντα αλγόριθμο, αναγνωρίζει διαφορετικούς υπογράφοντες χωρίς να κατασκευάζει διαφορετικά συστήματα αναγνώρισης για τον κάθε ένα. Μεταξύ άλλων προτερημάτων, το προτεινόμενο σύστημα προσφέρει ένα συνδυασμό ασφάλειας και διευκόλυνσης των εξουσιοδοτημένων, λόγω των αυξημένων δυνατοτήτων του υπό ανάλυση αλγόριθμου. Η απεικόνιση της ψηφιακής χειρόγραφης υπογραφής, από τον χώρο της ψηφιακής εικόνας σε μια μαθηματική οντότητα, γίνεται μέσω της δημιουργίας ενός πίνακα συνδιακύμανσης. Αυτό έχει ως αποτέλεσμα, κάθε εικόνα να αντιστοιχεί σε ένα σημείο, το οποίο βρίσκεται πάνω σε μια μαθηματική επιφάνεια με ιδιαίτερες ιδιότητες. Η κυριότερη από αυτές, είναι ότι τα σημεία που βρίσκονται σε αυτή την επιφάνεια, δεν υπόκεινται στους γνωστούς "Ευκλείδειους" κανόνες. Αντιθέτως, τα σημεία αυτά, αναπαρίστανται από ένα Συμμετρικό και Θετικά Ορισμένο Πίνακα (SPD Matrix) και ανήκουν σε ένα Riemannian χώρο Πολλαπλοτήτων (Manifolds), με μέλη το σύνολο των SPD πινάκων. Λόγω της δομής του χώρου αυτού, οι μαθηματικές πράξεις επαναδιατυπώνονται και υπόκεινται σε συγκεκριμένους κανόνες, που παραπέμπουν στις αρχές της διαφορικής γεωμετρίας. Ο κύριος λόγος για τη χρήση τέτοιων Πολλαπλοτήτων, έχει να κάνει με την εκμετάλλευση της μη γραμμικής συσχέτισης, που προέρχεται από τον υπολογισμό του πίνακα συνδιακύμανσης μιας εικόνας. Καθώς ο υπό ανάλυση αλγόριθμος βασίζεται στη μέτρηση των αποστάσεων μεταξύ των αναπαραστάσεων των δεδομένων, η χρήση της σχέσης εκείνης που περιγράφει σωστά την έννοια της απόστασης, αποτελεί ένα βασικό στοιχείο για τη διαδικασία της ταξινόμησης. Παρόλο που έχουν αναπτυχθεί μετρικές που ορίζουν την έννοια της απόστασης σε αυτούς τους χώρους, ως μέρος της λειτουργίας του αλγόριθμου, επιλέγεται να γίνει Εκμάθηση Μετρικής, κατά την οποία, ανακαλύπτεται η σχέση που διατυπώνει με ακρίβεια, την απόσταση μεταξύ των στοιχείων του χώρου. Περαιτέρω, μια από τις καινοτομίες του προτεινόμενου αλγόριθμου, αποτελεί το γεγονός ότι, από την κάθε αναπαράσταση εξάγονται πολλαπλές άλλες, μικρότερων διαστάσεων, στις οποίες αναδεικνύονται διαφορετικά χαρακτηριστικά των δεδομένων. Η αντιμετώπιση αυτή όπως παρουσιάζεται, επιφέρει μεγαλύτερη ακρίβεια κατά την αναγνώριση υπογραφών των χρηστών. Επιπλέον, λόγω του τρόπου λειτουργίας του, το σύστημα αυτό παρέχει τη δυνατότητα της Μεταφοράς Μάθησης, δηλαδή της χρήσης του και σε άλλες εφαρμογές ταξινόμησης. Τέλος, για την τεκμηρίωση των παραπάνω υποστηριζόμενων δυνατοτήτων του αλγόριθμου, το σύστημα που κατασκευάζεται αξιολογείται με τη χρήση δύο διαφορετικών Βάσεων Δεδομένων που περιέχουν υπογραφές.

Abstract

Despite the advancement of technology, handwritten signatures have been one of the most widespread means of biometric authentication, throughout the ages. Over the last decade, handwritten signatures have been successfully integrated into today's digital world and ways are being explored, in which the authentication process of one's identity is automatically verified, via their signature. In the present thesis, the development of such system is being showcased, using a novel Pattern Recognition algorithm. Specifically, a biometric authentication system is being built, which classifies handwritten signatures, presented in the form of digital images. This system is Writer Independent, which means that it has the ability to recognize different signers without the need of developing different classifiers for each one of them. Among its qualities, this system offers a combination of security and user convenience, because of the enhanced capabilities of the underlying algorithm. The mapping of the digital handwritten signature, from the digital image space, to a mathematical entity, is done through the use of a covariance matrix. As a result, each digital image corresponds to a point on the surface of a mathematical entity, with particular properties. The main one is the fact that, the points on this entity, are not subject to the well known "Euclidean" rules. On the contrary, these points are represented by Symmetric Positive Definite (SPD) Matrices, and are on the Riemannian space of the SPD Manifold. Because of its structure, mathematical operations are reformulated and subject to specific rules which refer to the principles of differential geometry. The main reason behind utilizing such Manifolds, has to do with the exploitation of the non-linear correlation, which stems from the calculation of the covariance matrix of an image. Since the proposed algorithm utilizes the measurement of distances between representations of the data, the use of that mathematical expression which correctly describes the concept of distance, is a key element for the classification process. Although metrics that define the notion of distance on the SPD Manifold have already been developed, Metric Learning is being utilized, in order for the algorithm to discover the expression that accurately formulates the distance between points of this space. Furthermore, one of the innovative characteristics of the proposed algorithm, is the fact that from each representation multiple other of smaller dimensions are extracted, in which different characteristics of the data are emphasized. In this way, as it will be later showcased, user signatures are categorized with higher accuracy. Moreover, due to its way of operation, this system provides the ability of Transfer Learning, i.e., its use in other classification applications. Lastly, to document the above supported capabilities of the algorithm, the system being built is evaluated using two different databases, containing handwritten signatures.