Εφαρμογή εργαλείων επαυξημένης πραγματικότητας (AR) σε stop motion τεχνικές

Φλωράκης, Ηλίας

Application of augmented reality (AR) tools in stop motion techniques

Μεταπτυχιακή διπλωματική εργασία

Author

Φλωράκης, Ηλίας

Date

2022-10-11

Advisor

Siakas, Spyros

Διπλωματική Εργασία (12.75Mb)

Demo βίντεο εφαρμογής και χρήσης εφέ (63.54Mb)

Keywords

Augmented reality ; Body tracking ; Face recognition ; Lip sync ; Motion capture ; Stop motion animation ; Συγχρονισμός χειλιών ; Επαυξημένη πραγματικότητα

Abstract

Η παρούσα διπλωματική εργασία αποτελεί μια έρευνα η οποία έχει ως κυρίαρχο στόχο την διερεύνηση του βαθμού συμβολής και αξιοποίησης των εργαλείων της επαυξημένης πραγματικότητας στις τεχνικές του stop motion. Σε αυτό το πλαίσιο, αρχικά, έγινε επισκόπηση εργαλείων και πλατφορμών επαυξημένης πραγματικότητας, έτσι ώστε να επιλεχθεί η πλατφόρμα πάνω στην οποία αναπτύχθηκε η παρούσα έρευνα. Στη συνέχεια επιλέχθηκε η Spark AR με κριτήρια προσβασιμότητας, δυνατοτήτων tracking και ανοικτότητας. Σε αυτή την πλατφόρμα αναπτύχθηκαν και δοκιμάστηκαν εφέ (ή φίλτρα) επαυξημένης πραγματικότητας, με στόχο να διευκολυνθεί ο δημιουργός ταινιών stop motion, στις χρονοβόρες διαδικασίες, όπως το lyp sync και το motion capture, αλλά και απαιτητικές, τόσο σε εξοπλισμό, όσο και σε τεχνικές γνώσεις υλοποίησης. Επιπλέον, τα εφέ δοκιμάστηκαν σε πραγματικές, μη ιδανικές συνθήκες (όπως είναι ένα στούντιο, η ύπαρξη κατάλληλου εξοπλισμού ή ιδανικού φωτισμού) και από χρήστες με μέτριες έως ελάχιστες τεχνικές γνώσεις, αλλά και από τον ίδιο τον ερευνητή, για την διαμορφωτική αξιολόγηση μέσω συμμετοχικής παρατήρησης. Δημιουργήθηκαν επίσης, πρότυπα φύλλα εργασίας και ημερολόγιο έρευνας, για την καταγραφή και παρατήρηση της πορείας της έρευνας. Η πρωτοτυπία της παρούσας εργασίας εντοπίζεται στην ανάπτυξη και παραμετροποίηση εφέ επαυξημένης πραγματικότητας με στόχο την εφαρμογή τους ειδικά στην δημιουργία ταινιών animation. Μετά από συγκριτική δοκιμή των πλατφορμών ΕΠ που υπάρχουν αυτή την στιγμή και με τις προϋποθέσεις που θέτουν τα ποιοτικά στοιχεία της έρευνας, χρησιμοποιήθηκε το Spark AR Studio της Meta. Αν και η δημιουργία εφέ στην συγκεκριμένη πλατφόρμα, επικεντρώνεται στην χρήση τους με τις εφαρμογές Instagram και Facebook messenger, αυτό δεν αποτελεί περιορισμό, αφού οι εφαρμογές αυτές υπάρχουν σχεδόν σε όλα τα κινητά τηλέφωνα και οι περισσότεροι χρήστες τις χρησιμοποιούν. Εξάλλου, το παραγόμενο βίντεο από τα εφέ που αναπτύχθηκαν, αποθηκεύονται στο κινητό, δίνοντας την δυνατότητα στον χρήστη, να τα αξιοποιήσει κατάλληλα για τη δημιουργία ταινιών animation. Τα τελικά προϊόντα του πρακτικού μέρους της έρευνας περιλαμβάνουν τις ολοκληρωμένες εφαρμογές των εφέ, καθώς επίσης και το υποστηρικτικό υλικό δημοσιοποίησής τους, δηλαδή ένα βίντεο demo χρήσης των εφέ.

Abstract

This diploma thesis is a research that has as its main objective the investigation of the degree of contribution and utilization of the augmented reality tools in stop motion techniques. In this context, initially, augmented reality tools and platforms were reviewed, so as to select the platform on which this research was developed. Spark AR was then selected based on criteria of accessibility, tracking capabilities and openness. Augmented reality effects (or filters) were developed and tested on this platform, with the aim of facilitating the stop motion film maker, in the time-consuming processes, such as lyp sync and motion capture, but also demanding, both in terms of equipment and technical implementation knowledge. In addition, the effects were tested in real, non-ideal conditions (such as a studio, the presence of suitable equipment or ideal lighting) and by users with moderate to minimal technical knowledge, but also by the researcher himself, for formative evaluation through participant observation. Standard worksheets and a research diary were also created to record and observe the progress of the research. The originality of this work is found in the development and parameterization of augmented reality effects with the aim of applying them specifically to the creation of animation films. After a comparative test of the augmented reality platforms that exist at the moment and with the conditions set by the qualitative elements of the research, Meta's Spark AR Studio was used. Although the creation of effects on this platform is focused on their use with the Instagram and Facebook messenger, this is not a limitation, since these applications are present on almost all mobile phones and most users use them. Besides, the produced video from the developed effects are stored on the mobile, giving the user the possibility to use them appropriately for the creation of animation films. The final products of the practical part of the research include the completed applications, as well as the supporting material to publicize it, i.e. a video trailer with the gameplay.