Σχεδίαση και μελέτη spiking νευρωνικών δικτύων και σύγκριση μεθόδων προσομοίωσης

Φαναριώτης, Ιωάννης

Design and study of spiking neural networks and comparison of simulation methods

Διπλωματική εργασία

Author

Φαναριώτης, Ιωάννης

Date

2025-03-06

Advisor

Μπόγρης, Αντώνιος

Ioannis_Fanariotis_Completed - signed.pdf (5.163Mb)

Keywords

SNNTorch ; ST‑MNIST ; Τεχνητά νευρωνικά δίκτυα ; Spiking neural networks

Abstract

Η παρούσα διπλωματική εργασία ασχολείται με τις ιδιαιτερότητες των Spiking Neural Networks (SNNs) με έμφαση στην ενεργειακή αποδοτικότητα και την επεξεργασία χρονικών σημάτων, χρησιμοποιώντας τη βιβλιοθήκη SNN Torch. Παρουσιάζεται αναλυτικά η δομή της βιβλιοθήκης, η οποία επεκτείνει το PyTorch για την υλοποίηση spiking νευρωνικών δικτύων μέσω προ- εγκατεστημένων μοντέλων και την εφαρμογή surrogate gradients. Στη συνέχεια παρουσιάζονται αναλυτικά τα πειραματικά αποτελέσματα τόσο για προβλήματα ταξινόμησης (με το ST‑MNIST) όσο και για παλινδρόμηση, όπου αναπτύχθηκε ένα μοντέλο 32-32-1 νευρώνων με χρήση surrogate gradients. Τα πειράματα έδειξαν ότι, με στρατηγικές δειγματοληψίας και με προσεκτικά επιλεγμένες υπερπαραμέτρους, το μοντέλο κατάφερε να συγκλίνει γρήγορα, επιτυγχάνοντας για παράδειγμα στο Experiment 2 μέσο loss 0.69 και υψηλή ακρίβεια, ενώ παρατηρήθηκαν διαφορές απόδοσης ανάλογα με την αρχιτεκτονική και τις συνθήκες εισόδου.

Abstract

The present thesis deals with the specificities of Spiking Neural Networks (SNNs) with an emphasis on energy efficiency and temporal signal processing, using the SNNTorch library. The structure of the library is presented in detail, which extends PyTorch for the implementation of spiking neural networks through pre-installed models and the application of surrogate gradients. The experimental results are then presented in detail for both classification problems (with ST‑MNIST) and regression, where a 32-32-1 neuron model was developed using surrogate gradients. The experiments showed that, with sampling strategies and carefully selected hyperparameters, the model managed to converge quickly, achieving for example in Experiment 2 an average loss of 0.69 and high accuracy, while performance differences were observed depending on the architecture and input conditions.