Μια Έρευνα διάρκειας Εννιά Μηνών στα Ευρωπαϊκά Διαρθρωτικά Ταμεία
Το 2010, οι «Financial Times» και το «Bureau of Investigative Journalism» (BIJ) ένωσαν τις δυνάμεις τους για να κάνουν μια έρευνα στα Ευρωπαϊκά Διαρθρωτικά Ταμεία. Η πρόθεση τους ήταν να επανεξετάσουν ποιοι είναι οι δικαιούχοι των Ευρωπαϊκών Διαρθρωτικών Ταμείων και να ελέγξουν αν τα χρήματα τοποθετούνται για καλή χρήση. Στα 347 δισεκατομμύρια των τελευταίων επτά ετών, τα Διαρθρωτικά Ταμεία είναι το δεύτερο μεγαλύτερο πρόγραμμα επιδότησης της Ευρωπαϊκής Ένωσης. Το πρόγραμμα υπάρχει εδώ και δεκαετίες, αλλά εκτός από ευρείες, γενικευμένες επισκοπήσεις, υπήρχε έλλειψη διαφάνειας σχετικά με το ποιοι είναι οι δικαιούχοι. Ως μέρος της αλλαγής των κανόνων στον τρέχοντα γύρο χρηματοδότησης, οι αρχές είναι υποχρεωμένες να δημοσιοποιήσουν τη λίστα των δικαιούχων, συμπεριλαμβανομένου της περιγραφής του έργου και του ποσού που λαμβάνουν από την κοινοτική και εθνική χρηματοδότηση.
Η ομάδα του έργου αποτελούνταν από 12 δημοσιογράφους και ένα πλήρους απασχόλησης προγραμματιστή και συνεργάστηκαν για εννιά μήνες. Η συλλογή δεδομένων μόνο, πήρε αρκετούς μήνες. Το έργο είχε ως αποτέλεσμα μέσα σε πέντε μέρες από την κάλυψη των «Financial Times» και του «BIJ», ένα ντοκιμαντέρ του ραδιοφώνου του BBC και διάφορα τηλεοπτικά ντοκιμαντέρ. Πριν ξεκινήσετε ένα έργο του επιπέδου αυτής της προσπάθειας, πρέπει να είστε βέβαιοι ότι τα ευρήματα είναι πρωτότυπα και ότι θα καταλήξετε σε σημαντικές ειδήσεις που κανείς άλλος δεν μπορεί να έχει. Η διαδικασία αυτή χωρίζεται σε έναν αριθμό από διακριτά βήματα.
1. Προσδιορισμός του ποιος κρατάει τα δεδομένα και πώς τα κρατάει
Η Γενική Διεύθυνση Περιφερειών της Ευρωπαϊκής Επιτροπής έχει μια πύλη για ιστοσελίδες των περιφερειακών αρχών, στην οποία δημοσιεύει τα δεδομένα. Πιστεύαμε ότι η Επιτροπή θα έχει μια γενική βάση δεδομένων των έργων στα οποία θα μπορούσαμε να έχουμε άμεσα πρόσβαση είτε θα μπορούσαμε να αποκτήσουμε πρόσβαση μέσω του αιτήματος για Ελευθερία στην Πληροφόρηση. Καμία τέτοια βάση δεδομένων δεν υπάρχει στο επίπεδο λεπτομέρειας που απαιτείται. Συνειδητοποιήσαμε γρήγορα ότι πολλοί από τους συνδέσμους που παρέχει η Επιτροπή είναι ελαττωματικοί και ότι οι περισσότερες αρχές δημοσιεύουν τα δεδομένα σε μορφή PDF, και όχι σε πιο φιλικά προς ανάλυση πρότυπα όπως το CSV ή το XML.
Μια ομάδα 12 ατόμων εργάστηκε για να εντοπίσει τα πιο πρόσφατα δεδομένα και να ταξινομήσει τις υπερσυνδέσεις σε ένα υπολογιστικό φύλλο που χρησιμοποιήσαμε συνεργατικά. Δεδομένου ότι τα πεδία δεδομένων δεν ήταν ομοιόμορφα (για παράδειγμα οι κεφαλίδες ήταν σε διαφορετικές γλώσσες, κάποιες βάσεις δεδομένων χρησιμοποιούσαν διαφορετικά νομίσματα, και κάποιες περιείχαν αναλύσεις Ευρωπαϊκών και Εθνικών Πόρων) ήταν απαραίτητο να είμαστε όσο το δυνατόν πιο ακριβείς στη μετάφραση και περιγραφή των πεδίων των δεδομένων που ήταν διαθέσιμα σε κάθε σύνολο.
2. Λήψη και προετοιμασία των δεδομένων
Το επόμενο βήμα αποτελείται από τη λήψη όλων των υπολογιστικών φύλλων, των αρχείων PDF και σε μερικές περιπτώσεις την αναζήτηση στο διαδίκτυο για τα αρχικά δεδομένα. Κάθε σύνολο δεδομένων έπρεπε μετά να τυποποιηθεί. Η πιο επίπονη δουλειά ήταν η εξαγωγή δεδομένων από αρχεία PDF, τα οποία είχαν πολλές εκατοντάδες σελίδες. Το περισσότερο μέρος αυτής της εργασίας έγινε με προγράμματα όπως το UnPDFκαι το ABBYY FineReader, τα οποία επιτρέπουν την εξαγωγή δεδομένων σε άλλα πρότυπα, όπως CSV ή Excel.
Επίσης, μέρος του έργου ήταν και ο έλεγχος ότι τα εργαλεία εξαγωγής από PDF είχαν καταγράψει σωστά τα δεδομένα. Αυτό γινόταν με φιλτράρισμα, ταξινόμηση και πρόσθεση των συνόλων (για να διασφαλιστεί ότι αντιστοιχούσαν με αυτό που είχε αποτυπωθεί στα αρχεία PDF).
3. Δημιουργία βάσης δεδομένων
Ο προγραμματιστής της ομάδας έστησε μία SQL βάση δεδομένων. Καθένα από τα έτοιμα αρχεία χρησιμοποιούνταν ως ένα δομικό στοιχείο για το σύνολο της βάσης SQL, το οποίο θα μπορούσε να αναζητηθεί σε πραγματικό χρόνο μέσω των λέξεων κλειδιών.
4. Επανέλεγχος και ανάλυση
Η ομάδα ανέλυσε τα δεδομένα με δύο κύριους τρόπους:
- Μέσω της βάσης δεδομένων (front end)
-
Αυτό συνεπάγεται την πληκτρολόγηση συγκεκριμένων λέξεων-κλειδιών ενδιαφέροντος (για παράδειγμα, «καπνός», «ξενοδοχείο», «εταιρία Α» στη μηχανή αναζήτησης. Με τη βοήθεια του «Google Translate», το οποίο είχε συνδεθεί με τη λειτουργία αναζήτησης της δικιάς μας βάσης δεδομένων, αυτές οι λέξεις –κλειδιά θα μεταφράζονταν σε 21 γλώσσες και θα επέστρεφαν τα κατάλληλα δεδομένα. Τα δεδομένα αυτά θα μπορούσαν να είναι διαθέσιμα στους δημοσιογράφους για περαιτέρω έρευνα στα ατομικού ενδιαφέροντος έργα τους.
- Μέσω μακροοικονομικής ανάλυσης χρησιμοποιώντας όλη τη βάση δεδομένων
-
Περιστασιακά, θα κάναμε λήψη μιας πλήρης βάσης δεδομένων, την οποία έπειτα θα μπορούσαμε να αναλύσουμε (για παράδειγμα, χρησιμοποιώντας λέξεις κλειδιά, ή αθροίζοντας δεδομένα ανά χώρα, περιοχή, το είδος της δαπάνης, αριθμό έργων ανά δικαιούχο, κτλ.)
Στο θέμα μας χρησιμοποιήθηκαν και οι δύο μέθοδοι, αλλά επίσης επί τόπου έρευνα και έρευνα από το γραφείο.
Ο επανέλεγχος της ακεραιότητας των δεδομένων (συγκέντρωση και έλεγχος με αυτά που οι αρχές ανακοίνωναν ότι είχαν κατανεμηθεί) απαιτούσε ένα σημαντικό διάστημα. Ένα από τα κύρια προβλήματα ήταν ότι οι αρχές θα κοινοποιούσαν ως επί το πλείστον μόνο το ποσό της «κοινοτικής και εθνικής χρηματοδότησης». Σύμφωνα με τους κανόνες της Ε.Ε., κάθε πρόγραμμα επιτρέπεται να χρηματοδοτεί ένα συγκεκριμένο ποσοστό του συνολικού κόστους, χρησιμοποιώντας κοινοτική χρηματοδότηση. Το επίπεδο της χρηματοδότησης αποφασίζεται, σε επίπεδο προγράμματος, από το αποκαλούμενο ποσοστό συγχρηματοδότησης. Κάθε πρόγραμμα (για παράδειγμα, περιφερειακή ανταγωνιστικότητα) αποτελείται από πολυάριθμα έργα. Στα επίπεδα του έργου, ένα έργο θα μπορούσε τεχνικά να λάβει 100% της κοινοτικής χρηματοδότησης και κάποιο άλλο καθόλου, εφ’ όσον βρίσκονται στο ίδιο γκρουπ, καθώς το ποσό της κοινοτικής χρηματοδότησης στο επίπεδο του προγράμματος δεν υπερβαίνει το εγκεκριμένο ποσοστό συγχρηματοδότησης.
Αυτό σήμαινε ότι, χρειαζόταν να ελέγξουμε κάθε πόσο κοινοτικής χρηματοδότησης, που αναφέραμε στα θέματά μας, με την εν λόγω δικαιούχο εταιρία.
— Cynthia O’Murchu, Financial Times