Ανάκτηση και παρουσίαση πληροφορίας από αδόμητο κείμενο στο διαδίκτυο

Abstract

Η παρούσα διπλωματική εργασία ασχολείται με την εξαγωγή δεδομένων από το διαδίκτυο ή αλλιώς web scraping. Το διαδίκτυο αποτελεί τη μεγαλύτερη πηγή πληροφοριών στη σημερινή εποχή και περιλαμβάνει ως επί το πλείστον αδόμητα δεδομένα που είναι δύσκολο να συλλεχθούν. Η εξαγωγή των δεδομένων μπορεί να γίνει με αντιγραφή - επικόλληση, αλλά ο τρόπος αυτός είναι εξαιρετικά χρονοβόρος και μη αποδοτικός σε περιπτώσεις μεγάλου όγκου δεδομένων. Για να επιταχύνουμε και να αυτοματοποιήσουμε τη συλλογή πληροφοριών από τον παγκόσμιο ιστό χρησιμοποιούμε τη μέθοδο του web scraping. Η εργασία αναφέρεται αρχικά στις διάφορες τεχνικές και εφαρμογές του web scraping. Στη συνέχεια παρουσιάζονται τα σημαντικότερα εργαλεία για τη συλλογή δεδομένων μέσω προγραμματισμού ή μέσω έτοιμων εφαρμογών, όπως SaaS εργαλεία, desktop εφαρμογές και add-ons για τα προγράμματα περιήγησης. Η εργασία επικεντρώνεται στη συλλογή δεδομένων με Python και παρουσιάζονται οι κυριότερες βιβλιοθήκες που διαθέτει η γλώσσα για web scraping. Τέλος, περιγράφονται οι καλές πρακτικές που πρέπει να ακολουθούνται κατά την άντληση δεδομένων από το διαδίκτυο, όπως η προσαρμογή των κεφαλίδων HTTP, η διαχείριση των cookies κλπ. Στο πλαίσιο της εργασίας υλοποιήθηκε μια διαδικτυακή εφαρμογή για τη συλλογή αξιολογήσεων από έναν δημοφιλή ιστότοπο σύγκρισης τιμών. Η εφαρμογή διαθέτει ένα απλό UI με φόρμα αναζήτησης, στην οποία ο χρήστης εισάγει το προϊόν που τον ενδιαφέρει. Οι αξιολογήσεις του προϊόντος εμφανίζονται σε μορφή πίνακα και ο χρήστης μπορεί να κατεβάσει τα αποτελέσματα σε αρχείο CSV. Η υλοποίηση της εφαρμογής έγινε σε γλώσσα Python και χρησιμοποιήθηκαν τα frameworks Scrapy και Flask.