Transferable state & action embeddings in deep reinforcement learning
Μεταβιβάσιμες αναπαραστάσεις καταστάσεων και δράσεων στη βαθιά ενισχυτική μάθηση
Μεταπτυχιακή διπλωματική εργασία
Συγγραφέας
Ελευθερίου, Δημήτριος
Ημερομηνία
2024-07Επιβλέπων
Kasnesis, PanagiotisΛέξεις-κλειδιά
Deep reinforcement learning ; Embeddings ; Transfer learning ; Transformers ; Atari games ; Μεταφορά μάθησης ; Βαθιά ενισχυτική μάθηση ; Ενισχυτική μάθησηΠερίληψη
This thesis delves into two primary areas: the impact of transfer learning on the performance of RL algorithms and the implementation of a transformers-based architecture for learning representations of both states and actions. The proposed architecture, named JASE-DQN (Joint Action and State Embeddings Deep Q-Network), introduces a novel approach by concurrently learning latent representations of state and action attributes, as well as their interdependencies. Transfer learning process is facilitated through the integration of pretrained models for state and action representations within a cross-attention transformer framework.
Περίληψη
Αυτή η διπλωματική εργασία εξετάζει δύο κύριους τομείς: την επίδραση της μεταφοράς μάθησης στην απόδοση των αλγορίθμων ενισχυτικής μάθησης και την εφαρμογή μιας αρχιτεκτονικής βασισμένης σε transformers για την εκμάθηση αναπαραστάσεων τόσο των καταστάσεων όσο και των ενεργειών. Η προτεινόμενη αρχιτεκτονική, με την ονομασία JASE-DQN (Joint Action and State Embeddings Deep Q-Network), εισάγει μια νέα προσέγγιση μαθαίνοντας ταυτόχρονα λανθάνουσες αναπαραστάσεις των χαρακτηριστικών καταστάσεων και ενεργειών, καθώς και τις αλληλεξαρτήσεις τους. Η διαδικασία μεταφοράς μάθησης διευκολύνεται μέσω της ενσωμάτωσης προεκπαιδευμένων μοντέλων για τις αναπαραστάσεις καταστάσεων και ενεργειών μέσα σε ένα πλαίσιο cross-attention transformer.
Αριθμός σελίδων
65Σχολή
Σχολή ΜηχανικώνΑκαδημαϊκό Τμήμα
Τμήμα Ηλεκτρολόγων και Ηλεκτρονικών ΜηχανικώνΤμήμα Μηχανικών Βιομηχανικής Σχεδίασης και Παραγωγής