Ομότιμη, συνεργατική αλληλεπίδραση ανθρώπου - μηχανής

Τουμανίδης, Λάζαρος

Peer-to-peer, collaborative human-machine interaction

Μεταπτυχιακή διπλωματική εργασία

Author

Τουμανίδης, Λάζαρος

Date

2020-04

Advisor

Patrikakis, Charalampos

mscres-18.pdf (4.894Mb)

Keywords

Ενεργητική μάθηση ; Κινητή υπολογιστική ; Μεταφορά μάθησης ; Μηχανική μάθηση ; Πληθοπορισμός ; Crowdsourcing ; Machine learning ; Ενισχυτική μάθηση ; Reinforcement learning ; Νευρωνικά δίκτυα ; Βαθιά μάθηση ; Peer-to-peer

Abstract

Μια συνήθης πρακτική σε λύσεις μηχανικής μάθησης, είναι η συνεχής χρήση της ανθρώπινης ευφυίας, με σκοπό την βελτίωση της ποιότητας και αποδοτικότητάς τους. Το αντικείμενο της παρούσας εργασίας είναι η μελέτη των τρόπων που μπορούμε να συνδυάσουμε την ανθρώπινη και της μηχανική ευφυΐα με σκοπό την βελτίωση των λύσεων που προσφέρουν τα συστήματα μηχανικής μάθησης. Μελετάται το πρόβλημα της ανάγκης για συλλογή και τιτλοφόρηση μεγάλου όγκου δεδομένων στα συστήματα αυτά, οι τεχνικές της μεταφοράς μάθησης και της ενεργητικής μάθησης, που χρησιμοποιούνται για την μείωση του όγκου αυτού καθώς και ο ρόλος που παίζει η ανθρώπινη κρίση κατά τις διαδικασίες αυτές. Παρουσιάζουμε μια ολοκληρωμένη πρακτική υλοποίηση, που περιλαμβάνει των συνδυασμού των τεχνικών αυτών, με την εκμετάλλευση προ-εκπαιδευμένων μοντέλων και την επιλεκτική δειγματοληψία δειγμάτων προς τιτλοφόρηση, καθώς και μια διαπλατφορμική εφαρμογή κινητών συσκευών για της διαδικασία της τιτλοφόρησης των επιλεγμένων δειγμάτων. Η υλοποίηση αποτελείται από τρία διακριτά μέρη, αυτό της εφαρμογής των τεχνικών μηχανικής μάθησης, αυτό της εφαρμογής για κινητές συσκευές και αυτό της διαδικτυακής εφαρμογής που χρησιμοποιείται ως διεπαφή των υπόλοιπων δύο, αλλά και για την αποθήκευση τόσο των παραμέτρων των διεργασιών αλλά και των εκάστοτε σταδίων αυτών. Αξιολογούμε την υλοποίηση αυτή εφαρμόζοντας ένα πρόβλημα δυαδικής κατηγοριοποίησης στον τομέα της μηχανικής όρασης, με χρήση ενός προ-εκπαιδευμένου μοντέλου για αρχικοποίηση της διαδικασίας, το κριτήριο της μέγιστης εντροπίας σαν κριτήριο επιλογής νέων δειγμάτων στο στάδιο της μεταφοράς μάθησης, συγκρινόμενο με την τυχαία επιλογή δειγμάτων, και μηχανισμό ειδικής πλειοψηφίας σαν κριτήριο αξιοπιστίας των απαντήσεων στην διαδικασία τιτλοφόρησης νέων δεδομένων για την προσθήκη τους στο σύνολο δεδομένων εκπαίδευσης. Εξασφαλίζουμε ασφαλή επικοινωνία ανάμεσα στην εφαρμογή κινητών συσκευών και της διαδικτυακής εφαρμογής, και αποστέλλουμε στην δεύτερη, τις απαντήσεις που έδωσαν οι χρήστες στην πρώτη. Παρουσιάζουμε τα αποτελέσματα από τα οποία εύλογα διαφαίνεται η μείωση των απαιτούμενων δεδομένων για την βελτίωση του εκπαιδευμένου μοντέλου και συζητάμε σχετικά με τις δυσκολίες που αντιμετωπίσαμε αλλά και τις προοπτικές που ανοίγονται για την περαιτέρω αξιοποίηση της υλοποίησής μας.

Abstract

A widespread practice in machine learning solutions is the continuous use of human intelligence to increase their quality and efficiency. The subject of this work is the study of the ways we can combine human and machine intelligence in order to improve machine learning related systems. We review the requirement of a large amount of data that is needed in such systems, the techniques of transfer and active learning that are used to reduce this amount, as well as the role that human play in these techniques. We present a complete practical implementation that includes the combination of these techniques, utilizing existing pre-trained models for the tasks initialization, sophisticated data sampling to use for annotation as well as a cross-platform mobile application that is used for the annotation of the selected samples. The implementation consists of the three separate modules, one responsible for machine learning related tasks, one being the mobile client application and a web application being the interface between the other two, also responsible for storing both the tasks’ parameters and their current states. We evaluate the implementation using a pre-trained computer vision model for task initialization, max entropy strategy as the uncertainty sampling method, compared to random sampling for the active learning part and majority voting as the quality assurance requirement for new human-annotated images to be added on the train set. We ensure secure communication between the mobile client and the web application and submit to the latter the answers that were given by the users on the former. We present the achieved results, where the reduction of the required samples for the improvement of the trained model is clear, and discuss about the difficulties we faces during the whole process as well as the opportunities that are opening for further usage of our implementation.