Εμφάνιση απλής εγγραφής

Συστηματική ανάλυση και σύγκριση μεθόδων επιτάχυνσης μεγάλων γλωσσικών μοντέλων

dc.contributor.advisorKachris, Christoforos
dc.contributor.authorΚοιλιά, Νικολέττα
dc.date.accessioned2024-09-04T09:02:38Z
dc.date.available2024-09-04T09:02:38Z
dc.date.issued2024-07-19
dc.identifier.urihttps://polynoe.lib.uniwa.gr/xmlui/handle/11400/7379
dc.identifier.urihttp://dx.doi.org/10.26265/polynoe-7211
dc.description.abstractΜέχρι σήμερα δεν υπάρχει κάποια συστηματική και συγκριτική έρευνα για τους επιταχυντές υλικού (hardware accelerators) που να αναφέρονται στην υπολογιστική ισχύ των διάφορων γλωσσικών μοντέλων επιταχυντών. Σε αυτή την εργασία παρουσιάζεται κατ’ αρχήν μια επισκόπηση σχετικά με τις έρευνες και τα μοντέλα επιταχυντών που έχουν παρουσιαστεί διαχρονικά για την επιτάχυνση των Μεγάλων Γλωσσικών Μοντέλων και της επεξεργασίας της Φυσικής Γλώσσας, χρησιμοποιώντας επιταχυντές υλικού. Η επισκόπηση παρουσιάζει τα πλαίσια που έχουν προταθεί και στη συνέχεια πραγματοποιεί μια ποιοτική και ποσοτική σύγκριση όσο αφορά τη τεχνολογία και τον τύπο επεξεργαστή που χρησιμοποιούν (FPGA, ASIC, In-Memory, GPU), την ενεργειακή απόδοση, την επιτάχυνσης, καθώς και τους αντίστοιχους ρυθμούς (επιτάχυνσης και ενεργειακής απόδοσης). Το μεγαλύτερο πρόβλημα είναι ότι οι υπάρχουσες σχετικές ερευνητικές προτάσεις συνήθως υλοποιούνται η καθεμία σε διαφορετική τεχνολογία (process technology). Αυτό έχει ως αποτέλεσμα να γίνεται δύσκολη η δίκαια σύγκριση των προτεινόμενων λύσεων. Σκοπός του εφαρμοσμένου, πειραματικού μέρους αυτής της διπλωματικής εργασίας ήταν να γίνει αναγωγή των αποτελεσμάτων σε μία κοινή τεχνολογία, κάνοντας έτσι δυνατή την δίκαια σύγκριση. Για την αναγωγή στην ίδια τεχνολογία (process technology) χρησιμοποιήθηκαν και αξιολογήθηκαν 2 προσεγγίσεις, μία θεωρητική αναγωγή (extrapolation) στην ίδια τεχνολογία και μία εργαστηριακή αναγωγή με βάση τα αποτελέσματα υλοποίησης ψηφιακών κυκλωμάτων σε διάφορες πλατφόρμες αναδιατασσόμενης λογικής (FPGA platforms). Στη συνέχεια παρουσιάζονται τα αποτελέσματα της υπολογιστικής επιτάχυνσης με αναγωγή στην ίδια τεχνολογία. Ακόμη, παρατίθενται δύο παραδείγματα της Μηχανικής Μάθησης με χρήση των LLMs για τους κλασικούς επεξεργαστές. Τέλος η εργασία κλείνει με την εξαγωγή σημαντικών συμπερασμάτων με βάση τη θεωρητική μελέτη αλλά και το πειραματικό μέρος.el
dc.format.extent105el
dc.language.isoelel
dc.publisherΠανεπιστήμιο Δυτικής Αττικήςel
dc.rightsΑναφορά Δημιουργού - Μη Εμπορική Χρήση - Παρόμοια Διανομή 4.0 Διεθνές*
dc.rightsAttribution-NonCommercial-NoDerivatives 4.0 Διεθνές*
dc.rights.urihttp://creativecommons.org/licenses/by-nc-nd/4.0/*
dc.subjectΤεχνητή νοημοσύνηel
dc.subjectΒαθιά μάθησηel
dc.subjectΜεγάλα γλωσσικά μοντέλαel
dc.subjectΚωδικοποιητέςel
dc.subjectΑποκωδικοποιητήςel
dc.subjectFPGAel
dc.subjectGPUel
dc.subjectIn-memoryel
dc.subjectASICel
dc.subjectΕνεργειακή απόδοσηel
dc.subjectΡυθμός απόδοσηςel
dc.subjectVHDLel
dc.subjectOllamael
dc.subjectΓραμμική παλινδρόμησηel
dc.subjectΔέντρα αποφάσεωνel
dc.subjectΜηχανές διανυσμάτων απόφασηςel
dc.subjectArtificial intelligenceel
dc.subjectMachine learningel
dc.subjectDeep learningel
dc.subjectEncodersel
dc.subjectDecoderel
dc.subjectEnergy efficiencyel
dc.subjectLarge language modelsel
dc.subjectPerformanceel
dc.subjectDecision treesel
dc.subjectRandom forestel
dc.subjectLinear regressionel
dc.subjectSupport Vector Machinesel
dc.titleΣυστηματική ανάλυση και σύγκριση μεθόδων επιτάχυνσης μεγάλων γλωσσικών μοντέλωνel
dc.title.alternativeA comprehensive survey, taxonomy, and comparison of accelerated large language modelsel
dc.typeΔιπλωματική εργασίαel
dc.contributor.committeeRangoussi, Maria
dc.contributor.committeeKyriakis-Bitzaros, Efstathios
dc.contributor.facultyΣχολή Μηχανικώνel
dc.contributor.departmentΤμήμα Ηλεκτρολόγων και Ηλεκτρονικών Μηχανικώνel
dc.description.abstracttranslatedUntil now there is no comprehensive survey on the hardware accelerators to speed up the most computationally intensive tasks of Transformers. In this diploma thesis, we present a comprehensive survey on the several research efforts that have been published on the acceleration of transformer networks for Large Language Models and Natural Language Processing (NLP) using hardware accelerators. The survey presents the frameworks that have been proposed and then performs a qualitative and quantitative comparison regarding the technology, the processing platform ( FPGA, ASIC, In-Memory, GPU), the speedup, the energy efficiency, the performance, and the energy efficiency (GOPs/W) of each framework. The main challenge a comparative study is faced with is that every proposed scheme is implemented on a different process technology, thus making the fair comparison a hard task. In the applied, experimental part of this diploma thesis, we extrapolate the results of the speedup and the performance of the hardware accelerators using 2 different approaches, a theoretical one and a more practical one. We implement part of the LLMs on several FPGA chips to extrapolate the results to the same process technology and then we make a fair comparison of the performance. Additionally, two examples of Machine Learning using LLMs for classical processors are provided. The diploma thesis concludes with the extraction of significant results drawn from both the theoretical study (hardware accelerators) and the experimental study parts.el


Αρχεία σε αυτό το τεκμήριο

Thumbnail

Αυτό το τεκμήριο εμφανίζεται στις ακόλουθες συλλογές

Εμφάνιση απλής εγγραφής

Αναφορά Δημιουργού - Μη Εμπορική Χρήση - Παρόμοια Διανομή 4.0 Διεθνές
Εκτός από όπου επισημαίνεται κάτι διαφορετικό, το τεκμήριο διανέμεται με την ακόλουθη άδεια:
Αναφορά Δημιουργού - Μη Εμπορική Χρήση - Παρόμοια Διανομή 4.0 Διεθνές