Show simple item record

Augmentation of large language model capabilities with knowledge graphs

dc.contributor.advisorKasnesis, Panagiotis
dc.contributor.authorΤσακαλάκης, Βίκτωρ
dc.date.accessioned2024-03-14T09:02:29Z
dc.date.available2024-03-14T09:02:29Z
dc.date.issued2024-03-06
dc.identifier.urihttps://polynoe.lib.uniwa.gr/xmlui/handle/11400/6072
dc.identifier.urihttp://dx.doi.org/10.26265/polynoe-5908
dc.description.abstractThis postgraduate thesis explores the possibility for augmentation of the abilities of Large Language Models (LLMs) in the task of Question Answering by incorporating the technique of Retrieval-Augmented Generation (RAG) in conjunction with Knowledge Graph triples. Leveraging the structured knowledge representation of semantic triples, the study aims to enhance the contextual understanding and precision of LLMs in responding to user queries. The methodology proposed consists of a pipeline for the extraction of triples from source documents (Wikipedia articles) using a fine-tuned Language Model, their subsequent storage and retrieval through RAG, and their inclusion as contextual information to assist the LLM with providing grounded and reliable answers which are based on the provided sources. The findings suggest that while the answers show an improvement compared to unaided LLM generation, this specific methodology is not competitive with more conventional RAG applications.el
dc.format.extent68el
dc.language.isoenel
dc.publisherΠανεπιστήμιο Δυτικής Αττικήςel
dc.rightsΑναφορά Δημιουργού - Μη Εμπορική Χρήση - Παρόμοια Διανομή 4.0 Διεθνές*
dc.rights.urihttps://creativecommons.org/licenses/by-nc-sa/4.0/deed.el*
dc.subjectArtificial intelligenceel
dc.subjectDeep learningel
dc.subjectKnowledge graphsel
dc.subjectLarge language modelsel
dc.subjectNatural language processingel
dc.subjectΤεχνητή νοημοσύνηel
dc.subjectΒαθιά μάθησηel
dc.subjectΓνωσιακοί γράφοιel
dc.subjectΜεγάλα γλωσσικά μοντέλαel
dc.subjectΕπεξεργασία φυσικής γλώσσαςel
dc.titleAugmentation of large language model capabilities with knowledge graphsel
dc.title.alternativeΕνίσχυση ικανοτήτων μεγάλων γλωσσικών μοντέλων με γνωσιακούς γράφουςel
dc.typeΜεταπτυχιακή διπλωματική εργασίαel
dc.contributor.committeePatrikakis, Charalampos
dc.contributor.committeeLeligou, Helen C. (Nelly)
dc.contributor.facultyΣχολή Μηχανικώνel
dc.contributor.departmentΤμήμα Ηλεκτρολόγων και Ηλεκτρονικών Μηχανικώνel
dc.contributor.departmentΤμήμα Μηχανικών Βιομηχανικής Σχεδίασης και Παραγωγήςel
dc.contributor.masterΤεχνητή Νοημοσύνη και Βαθιά Μάθησηel
dc.description.abstracttranslatedΑυτή η μεταπτυχιακή διπλωματική εργασία εξερευνά τη δυνατότητα ενίσχυσης των ικανοτήτων Μεγάλων Γλωσσικών Μοντέλων (Large Language Models – LLMs) στο πρόβλημα της απάντησης ερωτήσεων μέσω της ενσωμάτωσης της τεχνικής παραγωγής κειμένου με ενίσχυση ανάκτησης (Retrieval-Augmented Generation – RAG) σε συνδυασμό με τριπλέτες Γνωσιακών Γράφων. Εκμεταλλεύοντας τη δομημένη αναπαράσταση γνώσης των σημασιακών τριπλέτων, η εργασία αποσκοπεί στο να βελτιώσει την κατανόηση του κειμένου όπως και την ακρίβεια των LLMs στην απάντηση ερωτήσεων χρηστών. Η μεθοδολογία που προτείνεται αποτελείται από μία ακολουθία για την εξαγωγή των τριπλετών από τις έγγραγες πηγές (άρθρα της Wikipedia) χρησιμοποιώντας ένα προσαρμοσμένο Γλωσσικό Μοντέλο, τη μετέπειτα αποθήκευση και ανάκτησή τους μέσω της RAG, και τη προσθήκη τους ως σχετική πληροφορία για την υποστήριξη του LLM προς την παροχή θεμελιωμένων και αξιόπιστων απαντήσεων οι οποίες βασίζονται στις παρεχόμενες πηγές. Τα πορίσματα υποδεικνύουν ότι παρόλο οι απαντήσεις δείχνουν μία βελτίωση σε σχέση με την παραγωγή από το ανυποστήρικτο LLM, η συγκεκριμένη μεθοδολογία δεν ανταγωνίζεται πιο συμβατικές εφαρμογές RAG.el


Files in this item

Thumbnail

This item appears in the following Collection(s)

Show simple item record

Αναφορά Δημιουργού - Μη Εμπορική Χρήση - Παρόμοια Διανομή 4.0 Διεθνές
Except where otherwise noted, this item's license is described as
Αναφορά Δημιουργού - Μη Εμπορική Χρήση - Παρόμοια Διανομή 4.0 Διεθνές