Συστηματική ανάλυση και σύγκριση μεθόδων επιτάχυνσης μεγάλων γλωσσικών μοντέλων

Κοιλιά, Νικολέττα

dc.contributor.advisor	Kachris, Christoforos
dc.contributor.author	Κοιλιά, Νικολέττα
dc.date.accessioned	2024-09-04T09:02:38Z
dc.date.available	2024-09-04T09:02:38Z
dc.date.issued	2024-07-19
dc.identifier.uri	https://polynoe.lib.uniwa.gr/xmlui/handle/11400/7379
dc.identifier.uri	http://dx.doi.org/10.26265/polynoe-7211
dc.description.abstract	Μέχρι σήμερα δεν υπάρχει κάποια συστηματική και συγκριτική έρευνα για τους επιταχυντές υλικού (hardware accelerators) που να αναφέρονται στην υπολογιστική ισχύ των διάφορων γλωσσικών μοντέλων επιταχυντών. Σε αυτή την εργασία παρουσιάζεται κατ’ αρχήν μια επισκόπηση σχετικά με τις έρευνες και τα μοντέλα επιταχυντών που έχουν παρουσιαστεί διαχρονικά για την επιτάχυνση των Μεγάλων Γλωσσικών Μοντέλων και της επεξεργασίας της Φυσικής Γλώσσας, χρησιμοποιώντας επιταχυντές υλικού. Η επισκόπηση παρουσιάζει τα πλαίσια που έχουν προταθεί και στη συνέχεια πραγματοποιεί μια ποιοτική και ποσοτική σύγκριση όσο αφορά τη τεχνολογία και τον τύπο επεξεργαστή που χρησιμοποιούν (FPGA, ASIC, In-Memory, GPU), την ενεργειακή απόδοση, την επιτάχυνσης, καθώς και τους αντίστοιχους ρυθμούς (επιτάχυνσης και ενεργειακής απόδοσης). Το μεγαλύτερο πρόβλημα είναι ότι οι υπάρχουσες σχετικές ερευνητικές προτάσεις συνήθως υλοποιούνται η καθεμία σε διαφορετική τεχνολογία (process technology). Αυτό έχει ως αποτέλεσμα να γίνεται δύσκολη η δίκαια σύγκριση των προτεινόμενων λύσεων. Σκοπός του εφαρμοσμένου, πειραματικού μέρους αυτής της διπλωματικής εργασίας ήταν να γίνει αναγωγή των αποτελεσμάτων σε μία κοινή τεχνολογία, κάνοντας έτσι δυνατή την δίκαια σύγκριση. Για την αναγωγή στην ίδια τεχνολογία (process technology) χρησιμοποιήθηκαν και αξιολογήθηκαν 2 προσεγγίσεις, μία θεωρητική αναγωγή (extrapolation) στην ίδια τεχνολογία και μία εργαστηριακή αναγωγή με βάση τα αποτελέσματα υλοποίησης ψηφιακών κυκλωμάτων σε διάφορες πλατφόρμες αναδιατασσόμενης λογικής (FPGA platforms). Στη συνέχεια παρουσιάζονται τα αποτελέσματα της υπολογιστικής επιτάχυνσης με αναγωγή στην ίδια τεχνολογία. Ακόμη, παρατίθενται δύο παραδείγματα της Μηχανικής Μάθησης με χρήση των LLMs για τους κλασικούς επεξεργαστές. Τέλος η εργασία κλείνει με την εξαγωγή σημαντικών συμπερασμάτων με βάση τη θεωρητική μελέτη αλλά και το πειραματικό μέρος.	el
dc.format.extent	105	el
dc.language.iso	el	el
dc.publisher	Πανεπιστήμιο Δυτικής Αττικής	el
dc.rights	Αναφορά Δημιουργού - Μη Εμπορική Χρήση - Παρόμοια Διανομή 4.0 Διεθνές	*
dc.rights	Attribution-NonCommercial-NoDerivatives 4.0 Διεθνές	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/4.0/	*
dc.subject	Τεχνητή νοημοσύνη	el
dc.subject	Βαθιά μάθηση	el
dc.subject	Μεγάλα γλωσσικά μοντέλα	el
dc.subject	Κωδικοποιητές	el
dc.subject	Αποκωδικοποιητής	el
dc.subject	FPGA	el
dc.subject	GPU	el
dc.subject	In-memory	el
dc.subject	ASIC	el
dc.subject	Ενεργειακή απόδοση	el
dc.subject	Ρυθμός απόδοσης	el
dc.subject	VHDL	el
dc.subject	Ollama	el
dc.subject	Γραμμική παλινδρόμηση	el
dc.subject	Δέντρα αποφάσεων	el
dc.subject	Μηχανές διανυσμάτων απόφασης	el
dc.subject	Artificial intelligence	el
dc.subject	Machine learning	el
dc.subject	Deep learning	el
dc.subject	Encoders	el
dc.subject	Decoder	el
dc.subject	Energy efficiency	el
dc.subject	Large language models	el
dc.subject	Performance	el
dc.subject	Decision trees	el
dc.subject	Random forest	el
dc.subject	Linear regression	el
dc.subject	Support Vector Machines	el
dc.title	Συστηματική ανάλυση και σύγκριση μεθόδων επιτάχυνσης μεγάλων γλωσσικών μοντέλων	el
dc.title.alternative	A comprehensive survey, taxonomy, and comparison of accelerated large language models	el
dc.type	Διπλωματική εργασία	el
dc.contributor.committee	Rangoussi, Maria
dc.contributor.committee	Kyriakis-Bitzaros, Efstathios
dc.contributor.faculty	Σχολή Μηχανικών	el
dc.contributor.department	Τμήμα Ηλεκτρολόγων και Ηλεκτρονικών Μηχανικών	el
dc.description.abstracttranslated	Until now there is no comprehensive survey on the hardware accelerators to speed up the most computationally intensive tasks of Transformers. In this diploma thesis, we present a comprehensive survey on the several research efforts that have been published on the acceleration of transformer networks for Large Language Models and Natural Language Processing (NLP) using hardware accelerators. The survey presents the frameworks that have been proposed and then performs a qualitative and quantitative comparison regarding the technology, the processing platform ( FPGA, ASIC, In-Memory, GPU), the speedup, the energy efficiency, the performance, and the energy efficiency (GOPs/W) of each framework. The main challenge a comparative study is faced with is that every proposed scheme is implemented on a different process technology, thus making the fair comparison a hard task. In the applied, experimental part of this diploma thesis, we extrapolate the results of the speedup and the performance of the hardware accelerators using 2 different approaches, a theoretical one and a more practical one. We implement part of the LLMs on several FPGA chips to extrapolate the results to the same process technology and then we make a fair comparison of the performance. Additionally, two examples of Machine Learning using LLMs for classical processors are provided. The diploma thesis concludes with the extraction of significant results drawn from both the theoretical study (hardware accelerators) and the experimental study parts.	el

Files in this item

Name:: Koilia_19387106.pdf
Size:: 2.667Mb
Format:: PDF
Description:: Διπλωματική Εργασία

View/Open

This item appears in the following Collection(s)

Διπλωματικές εργασίες
Διπλωματικές εργασίες τμήματος Ηλεκτρολόγων και Ηλεκτρονικών Μηχανικών

Show simple item record

Except where otherwise noted, this item's license is described as
Αναφορά Δημιουργού - Μη Εμπορική Χρήση - Παρόμοια Διανομή 4.0 Διεθνές