Ανάλυση και σύγκριση αλγορίθμων συσσωμάτωσης για βελτιστοποίηση τεχνικών ομοσπονδιακής μάθησης σε cross-silo σενάρια

Μαζαράκης, Λεωνίδας

Analysis and comparison of aggregation algorithms for optimizing federated learning techniques in cross-silo scenarios

Διπλωματική εργασία

Author

Μαζαράκης, Λεωνίδας

Date

2023-10-11

Advisor

Koulouras, Grigorios

Main Document (3.396Mb)

Keywords

Τεχνητή νοημοσύνη ; Ομοσπονδιακή μάθηση ; Αλγόριθμοι συσσωμάτωσης ; Υπολογιστική μάθηση ; Μηχανική μάθηση ; Τεχνητά νευρωνικά δίκτυα ; Σύγκριση αλγορίθμων ; Supervised learning ; Επιβλεπόμενη μάθηση ; Cross-Silo ; Cross-Device

Abstract

Η παρούσα διπλωματική εργασία ασχολείται με την ανάλυση και την σύγκριση αλγορίθμων συσσωμάτωσης σε εφαρμογές Ομοσπονδιακής Μάθησης. Μέσω της εργασίας αυτής, επιδιώκεται η παρουσίαση ορισμένων από τους πλέον δημοφιλείς αλγόριθμους συσσωμάτωσης που χρησιμοποιούνται από τα κεντρικοποιημένα συστήματα, προκειμένου να γίνει συλλογή των δεδομένων των μοντέλων υπολογιστικής μάθησης που χρησιμοποιούνται από τα τοπικά συστήματα. Συγκεκριμένα εξετάζεται η εφαρμογή των αλγορίθμων σε cross-silo σενάρια Ομοσπονδιακής Μάθησης, όπου τα τοπικά συστήματα αποτελούνται από συστήματα οργανισμών με σχετικά μικρό αριθμό συμμετεχόντων. Επιμέρους στόχοι είναι η εισαγωγή στο συνολικό περιβάλλον της Ομοσπονδιακής Μάθησης, η σύγκριση και η αξιολόγηση των αλγορίθμων μέσω αποτελεσμάτων που προκύπτουν με διαφορετικές παραμέτρους εκπαίδευσης. Στο πλαίσιο της διπλωματικής εργασίας, η πρακτική υλοποίηση που αναπτύχθηκε προκειμένου να γίνουν οι συγκρίσεις, γίνεται μέσω προσομοίωσης πραγματικής εφαρμογής Ομοσπονδιακής Μάθησης η οποία αφορά ένα πρόβλημα ταξινόμησης εικόνων που λαμβάνονται από γνωστά σύνολα δεδομένων (Datasets). Η πρόβλεψη λύσεων του προβλήματος γίνεται με την χρήση δύο τεχνητών νευρωνικών δικτύων διαφορετικής αρχιτεκτονικής και πολυπλοκότητας, με σκοπό την παραγωγή περισσότερων αποτελεσμάτων που θα βοηθήσουν στην καλύτερη σύγκριση των αλγορίθμων. Η σύγκριση πραγματοποιείται μέσω εξέτασης των συντελεστών απόδοσης του συνολικού μοντέλου που παράγεται στο κεντρικό σύστημα.

Abstract

This thesis deals with the analysis and comparison of aggregation algorithms in Federated Learning applications. The aim of the present work is to present some of the most popular aggregation algorithms used by centralized systems in order to collect the data of computational learning models used by local systems. Specifically, the application of the algorithms to cross-silo Federated Learning scenarios is examined, where the local systems consist of organization systems with a relatively small number of participants. Sub-goals are to introduce the overall environment of Federated Learning, to compare and evaluate the algorithms through results obtained with different training parameters. In the context of the thesis, the practical implementation developed in order to make the comparisons, is done by simulating a real application of Federated Learning which concerns a problem of classification of images obtained from known datasets. The prediction of solutions to the problem is done by using two artificial neural networks of different architecture and complexity, in order to produce more results that will help to better compare the algorithms. The comparison is carried out by examining the coefficients of performance of the overall model produced in the central system.