dc.contributor.advisor | Kasnesis, Panagiotis | |
dc.contributor.author | Κουτσιβίτης, Παναγιώτης | |
dc.date.accessioned | 2024-10-31T10:53:11Z | |
dc.date.available | 2024-10-31T10:53:11Z | |
dc.date.issued | 2024-10 | |
dc.identifier.uri | https://polynoe.lib.uniwa.gr/xmlui/handle/11400/7935 | |
dc.identifier.uri | http://dx.doi.org/10.26265/polynoe-7767 | |
dc.description.abstract | Traditionally, Scientific Computing and Computer Aided Engineering software use numerical solvers for simulating physics-based models. Despite their high accuracy, numerical solvers can become very computationally intensive and often are impractical to be applied in real time applications in Hardware-in-the-Loop systems (HiL), Electronic Control Units (ECU) or modern edge devices (Microcontrollers). On the other hand, many machine learning models such as Artificial Neural Networks are universal function approximators with very small inference, time and memory footprint. For the above reasons, modern scientific computing
makes extensive use of Machine Learning for speeding up simulations or optimization processes. However, this use is limited by the presence of measurement or simulation data. In many cases, collecting measurements is not an option due to the high experimental costs, while in the case of simulation data, the need to run expensive in time simulations will often arise. Scientific Machine Learning or Physics-Informed Machine Learning tries to tackle the lack of training data by incorporating physics-based laws into the training process of machine learning models. More specifically, Physics Informed Neural Networks (PINNs) are a type of Neural Networks that are trained not only on data, if data are available, as it is usually the case in deep learning, but also on the model of the differential equations describing the underlying laws of physics, which makes them extremely accurate and data efficient. This ability to train a Neural Network in a non-arbitrary unsupervised way is a real breakthrough for the field of Machine Learning in general. The aim of this MSc thesis is to apply the PINNs methodology in solving a variety of benchmark
dynamical systems. We experimentally verify the ability of PINNs to solve standard benchmark problems such as Burgers equation and Poisson equation. We explore the borders of this technology by applying PINNs in challenging Fluid Dynamics problems, such as the NavierStokes equations. In Lid-Driven Cavity Flow, our trained PINNs demonstrate competitive
performance in terms of accuracy when compared to established numerical solvers. Furthermore, they produce more precise results than those reported in a relevant PINN reference paper [1], all while utilizing significantly smaller neural network architectures. This becomes feasible by proposing and applying alternative optimization schemes. In the case of the Static
Piston Flow problem, where PINNs failed to find the solution because of high nonlinearity and increased turbulence, we solve the problem using the classic Supervised Learning (SL) approach, which applies similar in size NN architectures, and we provide comparative results for the various optimizers used. The high accuracy achieved using the SL is a clear indication that the reason of PINNs’ failure in that case was not the learning capability of the Neural Network but the complexity of the optimization problem itself. Finally, after extensive search in the bibliography, several candidate solutions have been gathered and are presented that could help to expand the limits of this technology and make it applicable to real world applications. | el |
dc.format.extent | 67 | el |
dc.language.iso | en | el |
dc.publisher | Πανεπιστήμιο Δυτικής Αττικής | el |
dc.rights | Αναφορά Δημιουργού - Μη Εμπορική Χρήση - Παρόμοια Διανομή 4.0 Διεθνές | * |
dc.rights | Attribution-NonCommercial-NoDerivatives 4.0 Διεθνές | * |
dc.rights.uri | http://creativecommons.org/licenses/by-nc-nd/4.0/ | * |
dc.subject | Scientific computing | el |
dc.subject | Scientific machine learning | el |
dc.subject | Deep learning | el |
dc.subject | Physics-informed neural networks | el |
dc.subject | Automatic differentiation | el |
dc.subject | Επιστημονική υπολογιστική | el |
dc.subject | Επιστημονική μηχανική μάθηση | el |
dc.subject | Βαθιά μάθηση | el |
dc.subject | Νευρωνικά δίκτυα με βάση τη φυσική | el |
dc.subject | Αυτόματη παραγώγιση | el |
dc.title | Physics-informed neural networks for data-efficient & accurate learning of physical systems | el |
dc.title.alternative | Νευρωνικά δίκτυα υποβοηθούμενα από φυσικούς νόμους για την ακριβή (μηχανική) μάθηση φυσικών συστημάτων με αποδοτική χρήση συνόλων δεδομένων | el |
dc.type | Μεταπτυχιακή διπλωματική εργασία | el |
dc.contributor.committee | Rangoussi, Maria | |
dc.contributor.committee | Παπαδόπουλος, Περικλής | |
dc.contributor.faculty | Σχολή Μηχανικών | el |
dc.contributor.department | Τμήμα Ηλεκτρολόγων και Ηλεκτρονικών Μηχανικών | el |
dc.contributor.department | Τμήμα Μηχανικών Βιομηχανικής Σχεδίασης και Παραγωγής | el |
dc.contributor.master | Τεχνητή Νοημοσύνη και Βαθιά Μάθηση | el |
dc.description.abstracttranslated | Παρά την εκτεταμένη χρήση της Μηχανικής Μάθησης στη σύγχρονη επιστημονική υπολογιστική, αυτή περιορίζεται από την παρουσία δεδομένων μέτρησης ή προσομοίωσης. Σε πολλές περιπτώσεις, η συλλογή δεδομένων μέσω καταγραφής και μετρήσεων δεν είναι εφικτή λόγω του υψηλού κόστους διεξαγωγής πειραμάτων, ενώ όσον αφορά τα δεδομένα προσομοίωσης, πολλές φορές απαιτείται η διεξαγωγή χρονοβόρων υπολογιστικών προσομοιώσεων. Η Επιστημονική Μηχανική Μάθηση, και πιο συγκεκριμένα το πεδίο Physics Informed Machine Learning, προσπαθεί να αντιμετωπίσει την έλλειψη δεδομένων εκπαίδευσης
ενσωματώνοντας φυσικούς νόμους στην εκπαιδευτική διαδικασία των μοντέλων μηχανικής μάθησης. Πιο συγκεκριμένα, τα Physics Informed Neural Networks (PINNs) είναι μια κατηγορία Νευρωνικών Δικτύων που εκπαιδεύονται όχι μόνο σε δεδομένα, όπως συνηθίζεται στη βαθιά μάθηση, αλλά και στο θεμελιώδες μοντέλο των διαφορικών εξισώσεων που περιγράφει τους υποκείμενους φυσικούς νόμους – χαρακτηριστικό που τα καθιστά εξαιρετικά ακριβή και αποδοτικά ως προς τα δεδομένα. Σκοπός της παρούσας μεταπτυχιακής διπλωματικής εργασίας είναι η εφαρμογή της μεθοδολογίας των PINNs για την επίλυση διάφορων δυναμικών συστημάτων αναφοράς. Επιβεβαιώνουμε πειραματικά την ικανότητα των PINNs να επιλύουν τυπικά προβλήματα αναφοράς, όπως η εξίσωση Burgers και η εξίσωση Poisson. Περαιτέρω, εξερευνούμε τα όρια της τεχνολογίας αυτής εφαρμόζοντας τη μέθοδο σε απαιτητικά δυναμικά προβλήματα Ρευστών, όπως τις εξισώσεις Navier-Stokes. Στο Lid-Driven Cavity Flow, τα εκπαιδευμένα PINNs μας επιδεικνύουν ανταγωνιστική απόδοση όσον αφορά την ακρίβεια, σε σύγκριση με καθιερωμένους αριθμητικούς επιλυτές. Επιπλέον, παράγουν πιο ακριβή αποτελέσματα από αυτά που αναφέρονται σε ένα σχετικό έγγραφο αναφοράς PINNs [1], ενώ όλα αυτά χρησιμοποιούν σημαντικά μικρότερες αρχιτεκτονικές νευρωνικών δικτύων. Αυτό γίνεται εφικτό με τη επιλογή και την εφαρμογή εναλλακτικών σχημάτων βελτιστοποίησης. Στην περίπτωση του προβλήματος Στατικής Ροής Εμβόλου, όπου τα PINN απέτυχαν να βρουν τη λύση λόγω της υψηλής μη γραμμικότητας και της αυξημένης τυρβώδους ροής, λύνουμε το πρόβλημα χρησιμοποιώντας την κλασική προσέγγιση εποπτευόμενης μάθησης (Supervised Learning, SL), εφαρμόζoντας αντίστοιχες σε μέγεθος αρχιτεκτονικές δικτύων, και παρέχουμε συγκριτικά αποτελέσματα για τους διάφορους βελτιστοποιητές που χρησιμοποιήθηκαν. Τέλος, μετά από εκτενή έρευνα στη βιβλιογραφία, έχουν συγκεντρωθεί και παρουσιάζονται αρκετές υποψήφιες λύσεις που θα μπορούσαν να βοηθήσουν στην επέκταση των ορίων αυτής της τεχνολογίας και να την καταστήσουν εφαρμόσιμη σε πραγματικές εφαρμογές. | el |