Εξόρυξη online θέσεων εργασίας από τον παγκόσμιο ιστό και ανάλυσή τους

Abstract

Η παρούσα διπλωματική εργασία πραγματεύεται την ανάλυση θέσεων εργασίας στην Ελλάδα για το έτος 2021, η διαδικασία με την οποία επιτυγχάνουμε τον σκοπό μας είναι η εξής. Αρχικά αναζητήσαμε ιστοσελίδες(websites) οι οποίες είναι σχετικές με το θέμα μας, τις αναλύσαμε ώστε να ελέγξουμε ποια μας καλύπτει με βάση κάποιους κανόνες και κάποιους μηχανισμούς, επιλέξαμε μία από όλες με την οποία και εργαστήκαμε. Στην συνέχεια δημιουργήσαμε μία βάση δεδομένων με τρείς πίνακες, στον πρώτο πίνακα κρατήσαμε όσα μας επιστρέφει ο web crawler, τον δεύτερο πίνακα τον χρειαστήκαμε για να λειτουργήσει ως counter δηλαδή αποθηκεύουμε την τιμή που μας επιστρέφει ο regex κάθε φόρα που ανιχνεύει id στον πίνακα column μεγαλύτερο της τιμής value που υπάρχει στον πίνακα tester, ο λόγος που χρειάστηκε ο δεύτερος πίνακας είναι για να μας βοηθήσει να δημιουργήσουμε μία συνάρτηση που θα λειτουργεί ως block deduplication για το regular expression, στον τρίτο και τελευταίο πίνακα αποθηκεύουμε ότι μας επιστρέφει το regular expression. Έπειτα προγραμματίσαμε τον web crawler με τον οποίο «τραβήξαμε» από την κάθε μία θέση εργασίας ξεχωριστά το URL και τον HTML κώδικα της. Το URL το χρειαστήκαμε ως μέθοδο block duplicate δηλαδή με βάση το URL καταφέραμε η κάθε θέση εργασίας να αποθηκεύεται μόνο μία φορά στην βάση δεδομένων μας, το HTML αρχείο το χρειαστήκαμε στην συνέχεια, οπού μέσα σε αυτό είναι «κρυμμένη» όλη η πληροφορία που θέλαμε να αναλύσουμε με το regex (π.χ. Τίτλος εργασίας, Το όνομα της εταιρίας, Περιοχή κτλ.). Επίσης δημιουργήσαμε το regular expression, το regular expression μας βοηθά με τύπους βασισμένους σε ακολουθία λογικών χαρακτήρων να εντοπίσουμε τίς πληροφορίες που χρειαζόμαστε για το τρίτο μέρος της διπλωματικής εργασίας στο οποίο γίνεται η ανάλυση των δεδομένων που παίρνουμε από το regular expression με την χρήση του power bi. Τέλος όσες αγγελίες πήραμε από το regular expression τα μεταφέραμε στο power bi με σκοπό να τα αναλύσουμε με την χρήση διαγραμμάτων και πινάκων, δηλαδή με την χρήση του power bi κατορθώσαμε να βγάλουμε μια γενική εικόνα σχετικά με τις θέσεις εργασίας που δημοσιεύθηκαν καθώς και τις τάσεις.