Artificial intelligence in medical diagnosis (with emphasis on orthopedics)
Τεχνητή νοημοσύνη στην ιατρική διάγνωση (με έμφαση στην ορθοπεδική)
Μεταπτυχιακή διπλωματική εργασία
Author
Σκαλέρης, Σταμάτιος-Μιχαήλ
Date
2024-10-07Advisor
Leligou, Helen C. (Nelly)Keywords
Deep learning ; Transfer learning ; Automated diagnosis ; Medical image classification ; Hip fracture detection ; Βαθιά μάθηση ; Ιατρική διάγνωσηAbstract
Early and accurate diagnosis of hip conditions, such as fractures and degenerative diseases, is crucial for ensuring that patients receive appropriate treatment on time. Delayed or incorrect diagnoses can lead to prolonged recovery times, worsened conditions, and higher risks of complications. In recent years, machine learning and deep learning have emerged as powerful tools for medical image analysis, offering the potential to assist healthcare professionals by automating parts of the diagnostic process. This thesis concerns the development of a multi stage classification pipeline for the automated diagnosis of hip conditions from x-ray images, utilizing state-of-the-art deep learning techniques. The dataset used in this study includes a combination of publicly available hip x-ray images and additional images provided by a physician, covering fractured, operated, and healthy hips,
as well as hips with osteoarthritis. The classification pipeline consists of five stages, each addressing a specific diagnostic task. These stages include whether the image shows the left or right hip, whether the hip is normal or not, if an operation has been performed, the type of operation (arthroplasty or nailing), and the classification of fracture types and conditions (intertrochanteric fracture, subcapital fracture, osteoarthritis). The final classification pipeline incorporates a ResNet50 model for the initial classification of left or right hip, achieving an accuracy of 89%. For the rest of the stages, VGG16 models were selected. The highest accuracy was obtained for classifying normal versus abnormal hips (98% recall) and the type of operation (100%). However, lower accuracy was observed in more complex tasks, such as differentiating between fracture types, where the model achieved an accuracy of 73%. Additionally, the classification where the hip is operated or not, the model achieved a recall of 91%. Transfer learning played a crucial role in boosting the performance of the pipeline, allowing the models to generalize well despite the limited availability of training data. Despite the effectiveness of the proposed pipeline, several limitations were encountered. One of the main challenges was the limited availability of open-source medical imaging data, which hindered the training of more robust models. Additionally, hardware limitations restricted the ability to train larger models or explore more complex architectures. Future research can also utilize generative models to synthesize additional medical images, expanding the training dataset
and improving model performance. The findings of this thesis highlight the potential of deep learning techniques in automating
medical diagnosis, particularly for hip-related conditions. Although automated diagnostic systems are still in the early stages of development, and should be used complementary to human expertise, they offer numerous benefits. These include faster and more efficient diagnosis, reduced diagnostic errors, and the ability to assist doctors in identifying additional areas of concern in medical images. Ultimately, automated systems could become valuable tools in healthcare, and drastically improve patient outcomes.
Abstract
Η έγκαιρη και ακριβής διάγνωση παθήσεων του ισχίου, όπως κατάγματα και εκφυλιστικές ασθένειες, είναι ζωτικής σημασίας για να διασφαλιστεί ότι οι ασθενείς λαμβάνουν την κατάλληλη θεραπεία έγκαιρα. Καθυστερημένες ή εσφαλμένες διαγνώσεις μπορεί να οδηγήσουν σε παρατεταμένους χρόνους ανάρρωσης, επιδείνωση των παθήσεων και υψηλότερους κινδύνους επιπλοκών. Τα τελευταία χρόνια, η μηχανική μάθηση και η βαθιά μάθηση έχουν αναδειχθεί ως ισχυρά εργαλεία για την ανάλυση ιατρικών εικόνων, προσφέροντας τη δυνατότητα να επωφεληθεί ο τομέας της υγείας, αυτοματοποιώντας μέρη της διαγνωστικής διαδικασίας. Η παρούσα διπλωματική εργασία αφορά την ανάπτυξη μιας σειράς αλγορίθμων ταξινόμησης πολλαπλών σταδίων για την αυτοματοποιημένη διάγνωση παθήσεων και χειρουργείων του ισχίου από εικόνες ακτίνων Χ, με τη χρήση τεχνικών βαθιάς μάθησης. Το σύνολο δεδομένων που χρησιμοποιήθηκε σε αυτή τη μελέτη περιλαμβάνει έναν συνδυασμό διαθέσιμων στο κοινό εικόνων ακτινογραφίας ισχίου και εικόνων που παραχωρήθηκαν από έναν ορθοπεδικό χειρουργό, που καλύπτουν σπασμένα, χειρουργημένα και υγιή ισχία, καθώς και ισχία με οστεοαρθρίτιδα. Η διαδικασία της ταξινόμησης αποτελείται από πέντε στάδια, το καθένα για μια συγκεκριμένη διαγνωστική εργασία. Αυτά τα στάδια περιλαμβάνουν εάν η εικόνα δείχνει το αριστερό ή το δεξί ισχίο, εάν το ισχίο είναι φυσιολογικό ή όχι, εάν έχει γίνει επέμβαση, τον τύπο της επέμβασης (αρθροπλαστική ή ήλωση) και την ταξινόμηση των τύπων των καταγμάτων ή παθήσεων (διατροχαντήριο κάταγμα, υποκεφαλικό κάταγμα, οστεοαρθρίτιδα). Το τελικό σύστημα ταξινόμησης ενσωματώνει ένα μοντέλο ResNet50 για την αρχική ταξινόμηση του αριστερού ή του δεξιού ισχίου, επιτυγχάνοντας ακρίβεια 89%. Για τα υπόλοιπα στάδια επιλέχθηκαν μοντέλα VGG16. Η υψηλότερη ακρίβεια επιτεύχθηκε για την ταξινόμηση των φυσιολογικών έναντι των μη φυσιολογικών ισχίων (98% recall) και του τύπου επέμβασης (100%). Ωστόσο, χαμηλότερη ακρίβεια παρατηρήθηκε σε πιο σύνθετες εργασίες, όπως η διαφοροποίηση μεταξύ των τύπων κατάγματος ή οστεοαρθρίτιδας, όπου το μοντέλο πέτυχε ακρίβεια 73%. Επιπρόσθετα, η ταξινόμηση όπου το ισχίο είτε έχει χειρουργηθεί είτε όχι, το μοντέλο πέτυχε recall 91%. Τα transfer learning μοντέλα έπαιξαν κρίσιμο ρόλο στην ενίσχυση της απόδοσης του συστήματος, επιτρέποντας στα μοντέλα να γενικεύουν παρά την περιορισμένη διαθεσιμότητα δεδομένων για εκπαίδευση. Παρά την αποτελεσματικότητα του προτεινόμενου συστήματος, συναντήθηκαν αρκετοί περιορισμοί. Μία από τις κύριες προκλήσεις ήταν η περιορισμένη διαθεσιμότητα ιατρικών δεδομένων, η οποία εμπόδιζε την εκπαίδευση πιο ισχυρών μοντέλων. Επιπλέον, οι περιορισμοί hardware περιόρισαν τη δυνατότητα εκπαίδευσης βαθύτερων μοντέλων ή εξερεύνησης πιο περίπλοκων αρχιτεκτονικών. Μελλοντικές έρευνες μπορούν επίσης να χρησιμοποιήσουν μοντέλα για τη σύνθεση πρόσθετων ιατρικών εικόνων, επεκτείνοντας το σύνολο δεδομένων εκπαίδευσης και βελτιώνοντας την απόδοση του συστήματος. Τα ευρήματα αυτής της εργασίας επισημαίνουν τις δυνατότητες των τεχνικών βαθιάς μάθησης στην αυτοματοποίηση της ιατρικής διάγνωσης, ιδιαίτερα για παθήσεις που σχετίζονται με την ορθοπεδική. Παρόλο που τα αυτοματοποιημένα διαγνωστικά συστήματα βρίσκονται ακόμα σε αρχικά στάδια ανάπτυξης και θα πρέπει να χρησιμοποιούνται συμπληρωματικά, προσφέρουν πολλά οφέλη. Αυτά περιλαμβάνουν ταχύτερη και πιο αποτελεσματική διάγνωση, μειωμένα διαγνωστικά σφάλματα και την ικανότητα να βοηθούν τους γιατρούς να εντοπίζουν πρόσθετα προβλήματα στις ιατρικές εικόνες. Τέλος, τα αυτοματοποιημένα συστήματα θα μπορούσαν να γίνουν πολύτιμα εργαλεία στον τομέα της υγείας και να βελτιώσουν δραστικά τα αποτελέσματα των ασθενών.
Number of pages
104Faculty
Σχολή ΜηχανικώνAcademic Department
Τμήμα Ηλεκτρολόγων και Ηλεκτρονικών ΜηχανικώνΤμήμα Μηχανικών Βιομηχανικής Σχεδίασης και Παραγωγής