Ανάπτυξη προσαρμοστικών μεθόδων για online εκπαίδευση νευρωνικών δικτύων τύπου radial basis function

Κολέτσιος, Σωτήριος

Development of adaptive methods for online training of radial basis function neural networks

Διπλωματική εργασία

Author

Κολέτσιος, Σωτήριος

Date

2021-10

Advisor

Alexandridis, Alex

Διπλωματική Εργασία (2.182Mb)

Keywords

Ροές δεδομένων ; Φαινόμενο drift ; Δυναμικά περιβάλλοντα ; OnLine εκπαίδευση ; E-learning ; Δίκτυα ακτινικής συμμετρίας ; Ασαφή σύνολα ; Concept drift ; Data stream ; Fuzzy means ; Non-stationary environments ; Radial basis function ; Νευρωνικά δίκτυα

Abstract

Η εκπαίδευση σε μη στατικά περιβάλλοντα παρουσιάζει σημαντικές δυσκολίες λόγω του drift που παρουσιάζουν οι ροές δεδομένων καθώς και της περιορισμένης διαθεσιμότητας των δεδομένων αυτών. Από την άλλη, η εκπαίδευση σε μη στατικά περιβάλλοντα είναι πολύ σημαντική για την μοντελοποίηση ροών δεδομένων, όπου ένα αποτελεσματικό και ενημερωμένο μοντέλο είναι αναγκαίο καθώς η ροή δεδομένων εξελίσσεται. Αυτήν η διπλωματική παρουσιάζει έναν νέο αλγόριθμο εκπαίδευσης σε τέτοιου είδους περιβάλλοντα. Χρησιμοποιείται η λογική των τεχνητών νευρωνικών δικτύων, και πιο συγκεκριμένα τα δίκτυα radial basis function (RBF), σε συνδυασμό με τον αλγόριθμο Fuzzy Means (FM) για την ενημέρωση των κέντρων και την τεχνική Givens Rotations για την ενημέρωση των συναπτικών βαρών. Ο προτεινόμενος αλγόριθμος δοκιμάστηκε σε 9 πραγματικές και τεχνητές ροές δεδομένων (benchmark) και έγινε σύγκριση με άλλους γνωστούς αλγορίθμους που υπάρχουν στην βιβλιογραφία. Τα αποτελέσματα δείχνουν πως ο προτεινόμενος αλγόριθμος FM-Givens δημιουργεί μοντέλα με καλύτερη απόδοση ακόμα και σε ροές που υπάρχει drift, ενώ ο χρόνος εκπαίδευσης του παραμένει μικρός.

Abstract

Learning on non-stationary environments is laden with many challenges, as the procedure is usually characterized by drifts and data unavailability; on the other hand, it is of great importance with regard to data stream modeling, where an effective and up-to date model is required as the data stream evolves. This work presents a new method for producing highly accurate models for learning on such environments. The method is based on artificial neural networks (ANNs) and more specifically on the efficient architecture of radial basis function (RBF) networks. A novel RBF online training scheme for real time adaption of both the network structure and parameter values is proposed based on the fuzzy means (FM) algorithm and the Givens rotations technique. Within this integrated framework, it is guaranteed that for each update of the network structure, the optimal values for the synaptic weights are calculated efficiently by maintaining low order matrix updates. The proposed approach is evaluated on 9 real-word and artificial benchmark data streams and is compared to other well-known methodologies from the literature. The results show that the FM-Givens algorithm produces models with highly competitive online accuracy for non-stationary environments in the presence of drifts, while maintaining low model-updating times.