Κυριακή, Μαρτίου 21, 2010

X-factor, Impact factor, κλπ.

Μια νέα μόδα έχει τα τελευταία χρόνια εμφανιστεί στην ακαδημαϊκή κοινότητα: λέγεται "impact factor".

Τι είναι 'τούτο το φρούτο;

Λοιπόν, να τι είναι:

Παίρνουμε ένα περιοδικό, από αυτά που δημοσιεύουν επιστημονικές ανακοινώσεις.

1. Τραβάμε γραμμή κλάσματος.
2. Στον παρανομαστή αθροίζουμε τον αριθμό των ανακοινώσεων που δημοσιεύτηκαν στο συγκεκριμένο περιοδικό, μέσα σε μια χρονιά (π.χ. στο 2007).
3. Στον αριθμητή αθροίζουμε όλες τις αναφορές που έχουν γίνει σε αυτά τα άρθρα, και βγάζουμε τελικά το impact factor.

Π.χ. στο περιοδικό "Τα επιστημονικά κουμπιά της Αλέξαινας", δημοσιεύτηκαν μέσα στο 2007, 50 άρθρα. Το 2008, υπήρξαν 80 αναφορές σ' αυτά τα άρθρα συνολικά (από άλλα, νεώτερα άρθρα). Άρα, το impact factor του περιοδικού αυτού, είναι 80/50=1,6.

Όσοι γνωρίζουν ελάχιστα από στατιστική, θα έβαζαν τα γέλια. Δηλαδή μιλάμε για χοντρά γέλια!!!

Αλλά, το σύστημα αυτό, που εφηύρε και δεόντως προπαγανδίζει κάποια εταιρεία Thomson Reuters, έχει πολύ sex appeal στην επιστημονική κοινότητα..!!

Τώρα, ή η διεθνής επιστημονική κοινότητα έχει καταληφθεί από πρωτοφανή βλακεία (καθόλου απίθανο) ή κάτι άλλο, κάτι βαθύτερο, γίνεται.

Καταρχήν, για τη βλακεία: το κλάσμα αυτό, δεν αντιπροσωπεύει τίποτε! Ξαναλέω: τίποτε. Η όλη ιδέα, δεν είναι καν πρωτότυπη. Στην Ελλάδα π.χ. την έχει εφαρμόσει εδώ και χρόνια η AGB (αυτή ντε, με τα μηχανάκια τηλεθέασης). Βέβαια, η AGB δεν ισχυρίζεται ότι εξάγει μετρήσεις ποιότητας. Απλώς, λέει ότι μπορεί να μετρήσει πόσοι βλέπουν την κάθε εκπομπή. Όλοι ξέρουμε βέβαια ότι, αυτό που βλέπουν οι πιο πολλοί, είναι συνήθως κάποιο πρωϊνάδικο, μεσημεράδικο, κλπ.
Που το ξέρουμε; Μα, μας το λέει η AGB.
Α - μάλιστααααα... Και ποιός ελέγχει την AGB; Κανένας.

Αλλά, και τίμια να κάνει τη δουλειά της η AGB - ας το δεχθούμε. Ποιος θα ισχυριστεί ότι η πληροφόρηση που δίνεται από τις πρώτες σε θεαματικότητα εκπομπές είναι ποιοτική - ακριβής - σημαντική; Κανείς. Κι άμα ρωτήσουμε την "επιστημονική κοινότητα", θα μας ειρωνευτεί δεόντως - και μάλλον δικαίως.

Άρα, ό,τι βλέπουν οι πιο πολλοί, δεν μπορεί να είναι κριτήριο.

"Ωραία" λέει κάποιος, "αλλά η διεθνής επιστημονική κοινότητα δεν είναι απλοί τηλεθεατές - είναι ...επιστήμονες!!!".
Μη ξεράσω τώρα....
Τι έχουν δηλαδή οι επιστήμονες διαφορετικό από τους υπόλοιπους; Να μου το αποδείξουν (με επιστημονικές μεθόδους), να το δεχθώ. Αλλιώς, ξανακαθίστε (συνάδελφοι) και κάνετε ησυχία παρακαλώ, να συνεχίσω.

Λοιπόν, για να χρησιμοποιήσω μια κλασική - κι εξόχως αυθαίρετη μέθοδο - "by generalization" (γενικεύοντας), ό,τι διαβάζουν οι πιο πολλοί, είναι το πλέον αξιόλογο (άξιον λόγου). Άρα, οι τσόντες είναι καλύτερες από τον Bergman π.χ. και ο Ιούλιος Βερν, αξιολογότερος από τον Weber κ.ο.κ.
(Καθίστε κάτω λέω... Ψυχραιμία, με τα όσια και τα ιερά της φυλής συνάδελφοι...).

Και - by generalization επίσης - μια κι ο κύριος όγκος των άρθρων δημοσιεύεται στην αγγλική, όσοι γράφουν/διαβάζουν αγγλικά, ή έστω μόνο αγγλικά, είναι σημαντικότεροι, από όσους μιλάνε και γράφουν σε άλλες γλώσσες (να που τελικά, δικαιώνεται η Διαμαντοπούλου). Γιατί, έχουν πληρέστερη, σφαιρικότερη, και άρα (με επαγωγή) καλύτερη πληροφόρηση.

Ελπίζω ότι δεν χρειάζεται να αναλύσω την έκταση της βλακείας που αποκαλύπτει μια απλή λογική ανάλυση της αναφοράς στο impact factor ως κριτηρίου αξιολόγησης (όποιας αξιολόγησης). Αν χρειάζεται, πρέπει να σας δει ειδικός.

Και πάμε στο βαθύτερο αίτιο (όπως το βλέπω). Αν λοιπόν, η ανοησία είναι προφανής, τότε προς τι οι εμμονές στο impact factor;

Λέγεται: μετακύλιση ευθύνης.

Σκεφτείτε το εξής: κάποιος ξεκινάει να εκπονήσει μια διδακτορική διατριβή. Ορίζεται μια τριμελής επιτροπή, για να τον επιβλέπει επιστημονικά και να τον καθοδηγεί (στους δαιδαλώδεις διαδρόμους της ...σοφίας). Μετά από λίγο, η επιτροπή του ξεκαθαρίζει ότι πρέπει να κάνει και κάποιες σχετικές δημοσιεύσεις, ανακοινώσεις σε επιστημονικά συνέδρια, κλπ.

Το επιχείρημα, είναι κατά λέξη το εξής:

- "Όταν θα έρθει η ώρα που θα παρουσιάσεις τη διατριβή σου, εμείς (σ.σ. οι υπεύθυνοι επιβλέποντες) θα μπορέσουμε να ισχυριστούμε ότι κι άλλοι, που δε σε ξέρουν, έκριναν το έργο σου θετικά, κι άρα, υπάρχει μια ευρύτερη αποδοχή που δικαιώνει την επιλογή μας να σου επιτρέψουμε να υποστηρίξεις τη διατριβή σου".

Εκπληκτικό! Βέβαια, ο ατυχής υποψήφιος δικαιούται (λογικά) να ρωτήσει:

- "Μήπως τότε, να χέσω τη διατριβή, και να βγάλω 5-10 άρθρα και να με χρίσετε δόκτωρα έτσι, με τη μια;".

Κι ακόμα:

- "Αν η δική σας επιστημονική κρίση, είναι a priori ανεπαρκής και χρειάζεστε την υποστήριξη κάποιων άλλων, τότε τι σας θέλω; Και την αξία της κρίσης αυτών των άλλων, ποιος τη διασφαλίζει; Μήπως κι αυτοί είναι ανεπαρκείς; Και που τελειώνει η ιεραρχία της υποστήριξης της αξιοπιστίας καθενός από εσάς;".

Δυστυχώς, αυτά τα - εξόχως ορθολογικά - ερωτήματα, ο υποψήφιος διδάκτορας δεν τα θέτει, διότι κωλώνει (και καλά κάνει δηλαδή...). Μόλις δε γίνει ...δόκτωρ, αντιγράφει και τον τρόπο σκέψης που μέσα του αμφισβητούσε, όσο ήταν υποψήφιος...

Όπως είπα ήδη, το έργο λέγεται "μετακύλιση ευθύνης" και είναι, λίγο- πολύ παλαιότατο, από την εποχή του Αριστοτέλη (του ορθολογισμού δηλαδή) και πέρα.

Από κάτω, κρύβεται μια καθαρά θρησκευτικού τύπου δοξασία, που την παρουσιάζω επιγραμματικά:

  1. Υπάρχει κάποια (αντικειμενική) αλήθεια.
  2. Το ότι δεν την έχουμε ακόμα γνωρίσει, δεν αναιρεί την ύπαρξή της.
  3. Την αλήθεια αυτή, αφού υπάρχει, πρέπει να την ανακαλύψουμε. Δεν υπάρχει θέμα εφεύρεσης εδώ.
  4. Μέχρι να ανακαλύψουμε την Αλήθεια, ανακαλύπτουμε αλήθειες.
  5. Μόλις ανακαλύψουμε αυτή την Αλήθεια, τότε θα έχουμε τον αδιαμφισβήτητο τρόπο να αξιολογούμε τα πάντα.
  6. Εν τω μεταξύ, εργαζόμαστε με τις μερικές μας αλήθειες, ώστε να αξιολογούμε - πάντα αντικειμενικά - ό,τι μπορούμε να κωδικοποιήσουμε.
  7. Άρα, η αξιολόγηση εναποτίθεται σε έναν αντικειμενικό κώδικα, που απαρτίζεται από μερικές αλήθειες, αλλά πάντως αλήθειες που υπερβαίνουν την κριτική των ανθρώπων.
  8. Κάθε άλλη αξιολόγηση οδηγεί σε αναληθή συμπεράσματα.
  9. Η ευθύνη ανήκει πλέον στους αντικειμενικούς μηχανισμούς αξιολόγησης.
Όλα τα παραπάνω, μπορούν άνετα να απορριφθούν χωρίς δεύτερη συζήτηση, με ένα από τα παλιά εργαλεία του ορθολογισμού, που λέγεται reductio ad absurdum (στο περίπου, "αναγωγή σε άτοπο"). Βαριέμαι και να το κάνω, το θεωρώ στοιχειώδες.

Αυτό που μένει (συνάδελφοι) είναι η σκέτη πίστη. Η σκέτη ανάγκη σε πίστη. Αν έχετε κάποιο τέτοιο πρόβλημα (όλοι έχουμε εξάλλου), κάπου στη γειτονιά σας θα υπάρχει κάποια εκκλησία - δε μπορεί, στην Ελλάδα ζούμε. Άντε με την ευχή μου να βρείτε τον πνευματικό, να σας λύσει το πρόβλημα.

Βέβαια, τώρα που το σκέφτομαι, ακόμα κι οι παπάδες, λένε πως "η πίστη είναι θέμα επιλογής, που ο Θεός την παραχώρησε (την επιλογή) στους ανθρώπους".
Ακόμα κι οι παπάδες δηλαδή, βλέπουν το παράδοξο της αποποίησης της ευθύνης από τον Άνθρωπο χάριν κάποιας Αλήθειας, και (γρήγορα - γρήγορα) του ρίχνουν στην πλάτη το βάρος της επιλογής: αυτό δηλαδή, από το οποίο κανείς δεν μπορεί - και δεν δικαιούται - να διαφύγει.

Φτου!!! Χειρότεροι κι από τους παπάδες γινόμαστε;

Υ.Γ.: Από κοντά πάει κι νέα "βιομηχανία έκδοσης πιστοποιήσεων", που ανθεί...
Υ.Γ.2: Δεν αφορά εμένα. Υπήρξα τυχερός ως προς τη δική μου επιτροπή.

2 σχόλια:

Vrennus είπε...

Πάντως, ένα τέτοιο impact factor στον τομέα της επιστήμης της ιατρικής είχε απτές πολλαπλασιαστικές συνέπειες: στα έσοδα των φαρμακοβιομηχανιών - και αναφέρομαι φυσικά στην τεράστια απάτη γύρω από τον H1N1.

Π. Φιτσιλής είπε...

Όλα αυτά είναι ενδεικτικά της σημασίας που έχει ένα περιοδικό. Τουλάχιστον δίνει μια ένδειξη το πόσοι το χρησιμοποιούν. Έστω και αυτό το ατελές δείχνει κάτι. Από το τίποτε είναι κάτι καλύτερο.

Εγώ πολύ θα ήθελα να δω ένα δείκτη που να λέει πόσα άρθρα είχαν παρακτική σημασία και είχαν εφαρμογή.

Βέβαια αυτό σε επιστήμες όπως η κοινωνιολογία δεν έχει εφαρμογή σε όλες τις περιπτώσεις. Ομως στην τενολογία και τα συστήματα θα μπορούσε να γίνει.

Γενικά το θέμα είναι δύσκολο, είναι το πρόβλημα του πως μετράω τη γνώση, και δεν υπάρχει σωστό και λάθος