Τα Περισσότερα Δημοσιευμένα Ερευνητικά Ευρήματα είναι Ψευδή! - Ναι, Διαβάσατε Σωστά.

Oct 16, 2024

Μετάφραση: Απολλόδωρος

7 Aπριλίου 2023 | Mike Donio, MS | Διαβάστε το εδώ

Η Αλήθεια για την Τρέχουσα Κατάσταση της Επιστημονικής Έρευνας

Η σημερινή κατάσταση της επιστήμης είναι τραγική. Τα τελευταία 40 περίπου χρόνια γίναμε ουσιαστικά μάρτυρες του θανάτου της επιστήμης. Είναι δύσκολο να το πούμε, αλλά αυτό που προβάλλεται σήμερα στα περισσότερα εργαστήρια ελάχιστα μοιάζει με πραγματική επιστήμη.

Στα επόμενα τρία άρθρα, θα μοιραστώ την αλήθεια για την τρέχουσα κατάσταση της επιστήμης. Υπάρχουν τρία βασικά θέματα που θα καλύψω. Είναι τα εξής:

Το γεγονός ότι τα περισσότερα δημοσιευμένα ερευνητικά ευρήματα είναι πιθανότερο να είναι ψευδή παρά να μην είναι.
Η κρίση αναπαραγωγιμότητας, όπου πάνω από το 90% των επιστημονικών εργασιών δεν μπορούν να αναπαραχθούν.
Η διαλυμένη διαδικασία αξιολόγησης από ομοτίμους.

Είναι τα περισσότερα δημοσιευμένα ερευνητικά ευρήματα ψευδή;

Πριν από περίπου 18 χρόνια, ο Ιωάννης Ιωαννίδης δημοσίευσε το εμβληματικό πλέον δοκίμιό του με τίτλο: «Γιατί τα περισσότερα δημοσιευμένα ερευνητικά ευρήματα είναι ψευδή». Σε αυτό περιέγραφε έναν αριθμό παραγόντων οι οποίοι, όταν υπάρχουν, μειώνουν την πιθανότητα ένα δεδομένο εύρημα να είναι αληθινό. Η πραγματικότητα είναι ότι στις περισσότερες περιπτώσεις πολλοί από αυτούς τους παράγοντες είναι παρόντες, συνεπώς το συμπέρασμα του Ιωαννίδη ότι τα περισσότερα ευρήματα είναι ψευδή.

Από εδώ θα ξεκινήσω.

Προσδεθείτε! Θα πάμε μια μεγάλη βόλτα...

Ο Ιωαννίδης υποστήριξε τους ισχυρισμούς του

Υπάρχει αυξανόμενη ανησυχία ότι τα περισσότερα τρέχοντα δημοσιευμένα ερευνητικά ευρήματα είναι ψευδή.
Οι προσομοιώσεις δείχνουν ότι για τους περισσότερους σχεδιασμούς μελετών και ρυθμίσεις, είναι πιο πιθανό ένας ερευνητικός ισχυρισμός να είναι ψευδής παρά αληθής. Επιπλέον, για πολλά τρέχοντα επιστημονικά πεδία, τα ισχυριζόμενα ερευνητικά ευρήματα μπορεί συχνά να είναι απλώς ακριβή μέτρα της επικρατούσας προκατάληψης.

Τα παραπάνω αποσπάσματα προέρχονται από το τμήμα περίληψης του δοκιμίου του Ιωαννίδη. Δεν έχασε χρόνο για να μπει κατευθείαν στην καρδιά του θέματος. Σύμφωνα με τον ίδιο, υπάρχουν προσομοιώσεις που δείχνουν ότι είναι πιο πιθανό ένας συγκεκριμένος ερευνητικός ισχυρισμός να είναι ψευδής παρά αληθής. Είναι μάλιστα πιθανό ότι πολλές από αυτές είναι απλώς μέτρα της επικρατούσας προκατάληψης.

Στο δοκίμιο, υποστήριξε με σαφήνεια αυτούς τους φαινομενικά τολμηρούς ισχυρισμούς. Πολλά από τα πράγματα που τονίζει τα έχω παρατηρήσει και εγώ ο ίδιος κατά τη διάρκεια της 20ετούς καριέρας μου ως επιστήμονας.

Όλα έχουν να κάνουν με την τιμή p-value ή τουλάχιστον αυτό πιστεύουν οι επιστήμονες

Το πρώτο πράγμα που έχει τεράστιο αντίκτυπο στην πιθανότητα ένα εύρημα να είναι αληθινό είναι η στατιστική σημαντικότητα και η υπερβολική χρήση αυτού που είναι γνωστό ως p-value. Ακολουθεί ο ορισμός του New Oxford American Dictionary για το p-value:

η πιθανότητα ένα συγκεκριμένο στατιστικό μέτρο, όπως η μέση τιμή ή η τυπική απόκλιση, μιας υποτιθέμενης κατανομής πιθανοτήτων να είναι μεγαλύτερο ή ίσο από τα παρατηρούμενα αποτελέσματα.

Οι επιστήμονες χρησιμοποιούν συνήθως μια τιμή p-value μικρότερη από 0,05 για να καθορίσουν τη στατιστική σημαντικότητα. Ισχυρίζονται ότι εάν ένα δεδομένο σύνολο δεδομένων έχει μια τέτοια p-value, τότε το εύρημα είναι πραγματικό και πιθανότατα αληθινό. Ο Ιωαννίδης είχε διαφορετική άποψη επί του θέματος.

Αρκετοί μεθοδολόγοι έχουν επισημάνει ότι το υψηλό ποσοστό μη αναπαραγωγής των ερευνητικών ανακαλύψεων είναι συνέπεια της βολικής, αλλά αβάσιμης στρατηγικής του ισχυρισμού πειστικών ερευνητικών ευρημάτων αποκλειστικά και μόνο με βάση μία μόνο μελέτη που αξιολογείται με βάση την επίσημη στατιστική σημαντικότητα, συνήθως για p-value μικρότερη από 0,05.

Εδώ ξεκινάει αναφέροντας την έννοια της μη αναπαραγωγής, την οποία θα θίξουμε σε επόμενη ανάρτηση. Το υπόλοιπο του αποσπάσματος ενισχύει ότι είναι, κατά τη γνώμη του, κακή στρατηγική να βασίζεται κανείς στην τυπική στατιστική σημαντικότητα ως βάση για την αξιολόγηση ενός συγκεκριμένου ερευνητικού ευρήματος.

Πολλοί επιστήμονες βασίστηκαν και εξακολουθούν να βασίζονται σε μεγάλο βαθμό στη χρήση της στατιστικής σημαντικότητας, γεγονός που οδηγεί στο να είναι ψευδή τα περισσότερα από τα ευρήματά τους. Δεν είναι μόνο ο Ιωαννίδης που έχει διατυπώσει έναν τέτοιο ισχυρισμό σχετικά με την υπερβολική χρήση της τιμής p.

Ο David Colquhoun

Το 2014, ο David Colquhoun, φαρμακολόγος και στατιστικολόγος από το UCL, δημοσίευσε ένα άρθρο ανασκόπησης στο Open Science της Royal Society. Όπως θα δείτε, στηρίζει με μεγάλη σαφήνεια τους ισχυρισμούς του Ιωαννίδη και ξεκινά με ένα ντοκουμέντο.

Αν χρησιμοποιείτε p=0,05 για να υποδηλώσετε ότι έχετε κάνει μια ανακάλυψη, θα κάνετε λάθος τουλάχιστον στο 30% των περιπτώσεων. Αν, όπως συμβαίνει συχνά, τα πειράματα είναι υποδεέστερα, θα κάνετε λάθος τις περισσότερες φορές.

Για να ισχύει το πρώτο μέρος, θα πρέπει να έχετε ένα ιδανικό πειραματικό σενάριο. Η θλιβερή αλήθεια είναι ότι στη μεγάλη πλειοψηφία των περιπτώσεων αυτό δεν συμβαίνει και, επομένως, τα περισσότερα πειράματα καταλήγουν να είναι υποδυναμωμένα, πράγμα που με τη σειρά του σημαίνει ότι θα κάνετε λάθος αν χρησιμοποιήσετε p=0,05.

Είμαι βέβαιος ότι αναρωτιέστε τι σημαίνει η ισχύς ενός πειράματος ή πώς μπορεί να είναι υποδύναμη και θα αναφερθώ σε αυτό σύντομα.

Πριν επιστρέψω στον Ιωαννίδη, θέλω να μοιραστώ ένα ακόμη απόσπασμα από την εργασία του Colquhoun.

Γελοιοποιείτε τον εαυτό σας αν δηλώσετε ότι έχετε ανακαλύψει κάτι, ενώ το μόνο που παρατηρείτε είναι η τυχαία συγκυρία. Από αυτή την άποψη, αυτό που έχει σημασία είναι η πιθανότητα, όταν διαπιστώνετε ότι ένα αποτέλεσμα είναι "στατιστικά σημαντικό", να υπάρχει πράγματι ένα πραγματικό αποτέλεσμα. Εάν βρείτε ένα "σημαντικό" αποτέλεσμα όταν δεν υπάρχει τίποτα άλλο παρά μόνο τύχη, το αποτέλεσμά σας είναι ψευδώς θετικό, και η πιθανότητα να έχετε ψευδώς θετικό αποτέλεσμα είναι συχνά ανησυχητικά υψηλή.

Δύσκολο να μη συμφωνήσει κανείς με τον Colquhoun σε αυτό το σημείο. Επισημαίνει πραγματικά το ζήτημα με την υπερβολική στήριξη στη χρήση της τιμής p όταν έχετε ένα πείραμα με χαμηλή ισχύ.

Τι είναι αυτό για την Μεροληψία (Bias);

Στη συνέχεια, ο Ιωαννίδης θέτει στο στόχαστρό του την προκατάληψη. Εδώ είναι ο τρόπος με τον οποίο την ορίζει:

Πρώτον, ας ορίσουμε την προκατάληψη ως τον συνδυασμό διαφόρων παραγόντων σχεδιασμού, δεδομένων, ανάλυσης και παρουσίασης που τείνουν να παράγουν ερευνητικά ευρήματα όταν δεν θα έπρεπε να παράγονται.
Η μεροληψία μπορεί να συνεπάγεται χειραγώγηση στην ανάλυση ή την αναφορά των ευρημάτων. Η επιλεκτική ή διαστρεβλωμένη αναφορά είναι μια τυπική μορφή τέτοιας μεροληψίας.

Σημειώστε ότι αναφέρει τη χειραγώγηση της ανάλυσης ή της αναφοράς ως μέσο όπου εμφανίζεται η μεροληψία. Αυτό, κατά τη γνώμη μου, είναι ένα τεράστιο πρόβλημα. Πολλοί επιστήμονες θα κάνουν αυτό που ονομάζουν "μασάζ" των δεδομένων για να εξαλείψουν τυχόν ακραίες τιμές που θα μπορούσαν να θέσουν σε κίνδυνο το επιθυμητό συμπέρασμα.

Συνεχίζει λέγοντας ότι, "με την αύξηση της προκατάληψης, οι πιθανότητες να είναι αληθινό ένα ερευνητικό εύρημα μειώνονται σημαντικά". Επομένως, η προκατάληψη αποτελεί σημαντικό παράγοντα για τον προσδιορισμό της αλήθειας των ερευνητικών ευρημάτων. Επίσης, η προκατάληψη είναι διάχυτη στην επιστημονική έρευνα σήμερα και παίρνει πολλές μορφές.

Τα Πορίσματα

Με βάση τα προηγούμενα, ο Ιωαννίδης συνεχίζει να συμπεραίνει διάφορες ενδιαφέρουσες συνεπαγωγές που όταν είναι παρούσες μειώνουν την πιθανότητα να είναι αληθές ένα ερευνητικό εύρημα. Πρόκειται για τα ακόλουθα:

Πόρισμα 1: Όσο μικρότερος είναι ο αριθμός των μελετών που διεξάγονται σε ένα επιστημονικό πεδίο, τόσο μικρότερη είναι η πιθανότητα τα ερευνητικά ευρήματα να είναι αληθή.
Πόρισμα 2: Όσο μικρότερα είναι τα μεγέθη επίδρασης σε ένα επιστημονικό πεδίο, τόσο μικρότερη είναι η πιθανότητα τα ερευνητικά ευρήματα να είναι αληθή.
Πόρισμα 3: Όσο μεγαλύτερος είναι ο αριθμός και όσο μικρότερη είναι η επιλογή των δοκιμασμένων σχέσεων σε ένα επιστημονικό πεδίο, τόσο μικρότερη είναι η πιθανότητα τα ερευνητικά ευρήματα να είναι αληθή.
Πόρισμα 4: Όσο μεγαλύτερη είναι η ευελιξία στους σχεδιασμούς, τους ορισμούς, τα αποτελέσματα και τους τρόπους ανάλυσης σε ένα επιστημονικό πεδίο, τόσο μικρότερη είναι η πιθανότητα τα ερευνητικά ευρήματα να είναι αληθή.
Πόρισμα 5: Όσο μεγαλύτερα είναι τα οικονομικά και άλλα συμφέροντα και οι προκαταλήψεις σε ένα επιστημονικό πεδίο, τόσο μικρότερη είναι η πιθανότητα να είναι αληθή τα ερευνητικά ευρήματα.
Πόρισμα 6: Όσο πιο καυτό είναι ένα επιστημονικό πεδίο (με περισσότερες επιστημονικές ομάδες που εμπλέκονται), τόσο λιγότερο πιθανό είναι τα ερευνητικά ευρήματα να είναι αληθή.

Θέλω να κάνω μερικές παρατηρήσεις με βάση αυτά τα πορίσματα. Το πρώτο αναφέρεται στο μέγεθος του δείγματος. Αυτό θα συνέβαινε όταν εξετάζεται μόνο ένας περιορισμένος αριθμός επαναλαμβανόμενων δειγμάτων.

Ένα πράγμα που έχω παρατηρήσει σε πολλά άρθρα του Covid είναι ότι όταν αναλύουν δείγματα ασθενών το μέγεθος των ομάδων των ασθενών είναι αρκετά μικρό. Αυτό προκαλεί ιδιαίτερη έκπληξη, λαμβάνοντας υπόψη το γεγονός ότι υποτίθεται ότι πρόκειται για μια παγκόσμια πανδημία και επομένως δεν θα έπρεπε να υπάρχει έλλειψη ασθενών για την απόκτηση δειγμάτων.

Το μέγεθος του δείγματος τυχαίνει επίσης να είναι ένας παράγοντας που παίζει ρόλο στην ισχύ του πειράματος. Ένας άλλος είναι το μέγεθος της επίδρασης. Το Πόρισμα 2 υπογραμμίζει αυτό.

Εάν έχετε μικρό μέγεθος δείγματος και παρατηρείτε ένα μικρό αποτέλεσμα, αυτό θα ήταν ένα πείραμα με υποδύναμη και εάν χρησιμοποιείτε μια τιμή p=0,05 για να διαπιστώσετε εάν έχετε ένα έγκυρο εύρημα, τότε ο Colquhoun θα έλεγε ότι τις περισσότερες φορές θα κάνετε λάθος.

Κατά τη διάρκεια της σταδιοδρομίας μου παρατήρησα επίσης μια τεράστια ευελιξία που προσφέρεται στους επιστήμονες όσον αφορά τον πειραματικό σχεδιασμό και τις αναλυτικές μεθόδους. Αυτό που συμβαίνει τις περισσότερες φορές είναι ότι αν έχετε δύο διαφορετικούς εργαστηριακούς συνεργάτες που διεξάγουν το ίδιο πείραμα θα δώσουν διαφορετικά αποτελέσματα. Έτσι, τα όποια συμπεράσματα δεν θα είναι έγκυρα.

Το Πόρισμα 5 δεν πρέπει να εκπλήσσει κανέναν. Υπάρχει ένας τεράστιος και συνεχώς αυξανόμενος αριθμός συγκρούσεων συμφερόντων στην επιστημονική έρευνα σήμερα.

Μια άλλη σημαντική πτυχή είναι η χρηματοδότηση. Έχω γνωρίσει επιστήμονες να απευθύνονται απευθείας σε αυτούς που έχουν τα χρήματα για να τους πουν τι να κάνουν ή τι να βρουν στο πλαίσιο των πειραμάτων τους. Περιττό να πω ότι αυτό δεν είναι επιστήμη και σαφώς έχει αντίκτυπο στο κατά πόσον ένα εύρημα είναι αληθινό.

Το τελευταίο Πόρισμα έχει ιδιαίτερη εφαρμογή στην παρούσα κατάσταση με το COVID. Θέλω να πω, υπήρξε ποτέ πιο καυτός τομέας όπου συνεχώς δημοσιεύονται νέα δεδομένα.

Τώρα βλέπουμε ακόμη και πολλά να δημοσιεύονται σε προ-έκτυπες εκδόσεις. Αυτό σημαίνει ότι μια εργασία δημοσιεύεται χωρίς καν να περάσει από την πλήρη διαδικασία αξιολόγησης από ομοτίμους. Χωρίς να θέλω να πω ότι δεν υπάρχουν πολλά στραβά με την αξιολόγηση από ομοτίμους, αλλά θα αναφερθούμε σε αυτό σε ένα επόμενο άρθρο.

Το θέμα είναι ότι τα δεδομένα βγαίνουν τόσο γρήγορα που δεν αναθεωρούνται καν και εξακολουθούν να γίνονται αποδεκτά ως αληθινά από πολλούς στην επιστημονική κοινότητα. Είμαι βέβαιος ότι μπορείτε να αντιληφθείτε το πρόβλημα με αυτό.

Ακολουθούν λίγα ακόμη στοιχεία από τον Ιωαννίδη, τα οποία αναδεικνύουν ακόμη περισσότερο το πρόβλημα με τα δεδομένα που βγαίνουν από ένα καυτό επιστημονικό πεδίο, όπως το COVID.

Αυτό μπορεί να εξηγήσει γιατί βλέπουμε περιστασιακά μεγάλο ενθουσιασμό που ακολουθείται γρήγορα από σοβαρές απογοητεύσεις σε πεδία που συγκεντρώνουν μεγάλη προσοχή. Με πολλές ομάδες να εργάζονται στο ίδιο πεδίο και με μαζική παραγωγή πειραματικών δεδομένων, ο χρόνος είναι καθοριστικός για να νικήσει κανείς τον ανταγωνισμό. Έτσι, κάθε ομάδα μπορεί να δώσει προτεραιότητα στην επιδίωξη και τη διάδοση των πιο εντυπωσιακών «θετικών» αποτελεσμάτων της.

Ο Ιωαννίδης ολοκληρώνει το κείμενό του συζητώντας για το πώς μπορούν να διορθωθούν αυτά τα ζητήματα. Δυστυχώς, πολλοί δεν έχουν σπεύσει να λάβουν υπόψη τους τις συμβουλές του. Υπάρχουν μερικά ακόμη αποσπάσματα που θα ήταν παράλειψη αν δεν τα ανέφερα.

Ένα σημαντικό πρόβλημα είναι ότι είναι αδύνατο να γνωρίζουμε με 100% βεβαιότητα ποια είναι η αλήθεια σε οποιοδήποτε ερευνητικό ερώτημα. Από αυτή την άποψη, το καθαρό «χρυσό» πρότυπο είναι ανέφικτο.

Παρά τα όσα θα ήθελαν οι «ειδικοί» να πιστεύετε, το γεγονός είναι ότι η επιστήμη δεν παρέχει την απόλυτη αλήθεια. Ποτέ δεν μπορείτε να γνωρίζετε τίποτα με 100% βεβαιότητα. Ποτέ, μα ποτέ δεν είναι κατασταλαγμένη και στην πραγματικότητα αλλάζει συνεχώς.

Ο εκδότης του Lancet τα επιβεβαιώνει

Ο Richard Horton είναι ο αρχισυντάκτης του The Lancet, ενός ιατρικού περιοδικού υψηλού κύρους. Το 2015, δέκα χρόνια αφότου ο Ιωαννίδης δημοσίευσε το δοκίμιό του, ο Horton δημοσίευσε ένα ισχυρό σχόλιο. Αφορούσε κάτι που άκουσε σε ένα συμπόσιο «για την αναπαραγωγιμότητα και την αξιοπιστία της βιοϊατρικής έρευνας» που δεν ήταν άλλο από το Wellcome Trust.

Αν δεν γνωρίζετε το Wellcome Trust, παρακαλώ ψάξτε το. Αυτή η ομάδα ήταν ιδιαίτερα σημαντική στην προώθηση πολλών τυραννικών μέτρων κατά τις πρώτες ημέρες του COVID.

Πίσω στο άρθρο του Horton. Ξεκινά παραθέτοντας την παρατήρηση που άκουσε και η οποία νομίζω ότι πολύ απλά συνοψίζει την όλη κατάσταση.

«Πολλά από αυτά που δημοσιεύονται είναι λανθασμένα».

Σύντομο, αλλά πολύ εύστοχο. Ας μην πέσει στο κενό το γεγονός ότι αυτό πιθανότατα ειπώθηκε από κάποιον με μεγάλη επιρροή στον κόσμο της επιστήμης. Το εκλαμβάνω ως μια ειλικρινή παραδοχή, παρά το γεγονός ότι πολλοί επιστήμονες θέλουν να πουν ότι το σύστημα δεν είναι ελαττωματικό.

Ο Horton συνεχίζει παρέχοντας τις δικές του σκέψεις οι οποίες υποστηρίζουν σαφώς τους ισχυρισμούς του Ιωαννίδη. Επιπλέον φαίνεται να συμφωνεί και με τη συλλογιστική που χρησιμοποιείται.

Η υπόθεση κατά της επιστήμης είναι απλή: μεγάλο μέρος της επιστημονικής βιβλιογραφίας, ίσως η μισή, μπορεί απλώς να είναι αναληθής. Ταλαιπωρημένη από μελέτες με μικρά μεγέθη δείγματος, μικροσκοπικά αποτελέσματα, άκυρες διερευνητικές αναλύσεις και κατάφωρες συγκρούσεις συμφερόντων, σε συνδυασμό με την εμμονή για την επιδίωξη μοντέρνων τάσεων αμφιβόλου σημασίας, η επιστήμη έχει πάρει μια στροφή προς το σκοτάδι.

Δεν υπάρχουν πολλά με τα οποία μπορεί κανείς να διαφωνήσει, αλλά, συνεχίζει ο Horton.

Στην προσπάθειά τους να αφηγηθούν μια συναρπαστική ιστορία, οι επιστήμονες πολύ συχνά σμιλεύουν τα δεδομένα ώστε να ταιριάζουν στην προτιμώμενη θεωρία τους για τον κόσμο. Ή προσαρμόζουν εκ των υστέρων υποθέσεις για να ταιριάζουν με τα δεδομένα τους.

Αυτό έχει γίνει απίστευτα συνηθισμένο και το είδα συχνά κατά τη διάρκεια της καριέρας μου. Πρόκειται για τη δημιουργία δεδομένων ώστε να ταιριάζουν με την προκαθορισμένη υπόθεση ή για την απόφαση σχετικά με την ιστορία που θα αφηγηθεί μια εργασία πριν δημιουργηθούν όλα τα δεδομένα.

Αυτό σαφώς δεν είναι επιστήμη και η λειτουργία με αυτόν τον τρόπο θα οδηγήσει αναμφίβολα σε άκυρα ευρήματα που θα διατυπωθούν στην πραγματικότητα.

Ο Horton τελειώνει ρωτώντας αν αυτές οι κακές πρακτικές μπορούν να διορθωθούν και στη συνέχεια συνεχίζει για να χτυπήσει ένα από τα μεγαλύτερα μέρη του προβλήματος.

Μέρος του προβλήματος είναι ότι κανείς δεν έχει κίνητρο να έχει δίκιο. Αντίθετα, οι επιστήμονες έχουν κίνητρο να είναι παραγωγικοί και καινοτόμοι.

Αυτό ισχύει 100% τώρα, όπως και τότε, και πιθανότατα θα συνεχίσει να ισχύει, αφού κανείς δεν έχει κίνητρο να εργαστεί προς την κατεύθυνση της λύσης. Η επιχείρηση της επιστήμης έχει καταστρέψει την αληθινή επιστήμη. Δεν έχει γίνει τίποτα περισσότερο από μια μηχανή για την καινοτομία.

Τι είπε το CDC;

Θέλω να κλείσω αυτό το θέμα με μια μάλλον ειλικρινή δήλωση από μια ομάδα του CDC που δημοσίευσε μια απάντηση στο δοκίμιο του Ιωαννίδη το 2007.

Ουσιαστικά ισχυρίστηκαν ότι ήταν σε θέση να αποδείξουν ότι αν μια μελέτη μπορεί να αναπαραχθεί, αυτό αυξάνει την πιθανότητα ότι ένα συγκεκριμένο εύρημα είναι αληθινό και ότι αυτό θα έλυνε, στην πραγματικότητα, το πρόβλημα του Ιωαννίδη με τη στατιστική σημαντικότητα.

Ξεκινούν παραδεχόμενοι ότι αυτά που ισχυρίστηκε ο Ιωαννίδης ήταν πιθανότατα αληθινά.

Έδειξε με κομψό τρόπο ότι τα περισσότερα υποστηριζόμενα ερευνητικά ευρήματα είναι ψευδή.

Για να είμαστε απολύτως σαφείς εδώ, πρόκειται για μια ομάδα από το CDC που παραδέχεται ότι τα περισσότερα δημοσιευμένα ερευνητικά ευρήματα είναι ψευδή. Διαβάστε το μερικές φορές για να βεβαιωθείτε ότι το καταλάβατε.

Στη συνέχεια, συνεχίζουν να μιλούν για την αναπαραγωγή και πώς θα μπορούσε ενδεχομένως να λύσει αυτό το πρόβλημα.

Ως μέρος του επιστημονικού εγχειρήματος, γνωρίζουμε ότι η αναπαραγωγή -η απόδοση μιας άλλης μελέτης που επιβεβαιώνει στατιστικά την ίδια υπόθεση- είναι ο ακρογωνιαίος λίθος της επιστήμης και η αναπαραγωγή των ευρημάτων είναι πολύ σημαντική πριν από την εξαγωγή οποιουδήποτε αιτιώδους συμπεράσματος.

Και πάλι, εδώ είναι το CDC (το ίδιο ακριβώς που μας επέβαλε δρακόντεια μέτρα κατά τη διάρκεια του covid) που δηλώνει ότι η αναπαραγωγή είναι ζωτικής σημασίας προτού διαπιστωθεί αν ένα εύρημα είναι αληθινό.

Λοιπόν, όπως θα δείτε στο επόμενο άρθρο, έχουμε ένα μικρό πρόβλημα με την αναπαραγωγή. Για την ακρίβεια, τόσο πολύ που έχει ονομαστεί κρίση, «η κρίση της αναπαραγωγιμότητας».

Από περιέργεια, το CDC χρησιμοποίησε μελέτες που είχαν αναπαραχθεί για να δικαιολογήσει κάποιο από τα μέτρα που πρότεινε; Δεν το νομίζω.

Η διάκριση είναι το Κλειδί

Ελπίζω να μπορείτε να αντιληφθείτε από αυτό γιατί είναι τόσο σημαντικό να χρησιμοποιούμε μεγάλη διάκριση όταν αξιολογούμε οποιουσδήποτε νέους επιστημονικούς ισχυρισμούς, ειδικά αυτούς που έχουν σημαντικές επιπτώσεις στον τρόπο ζωής μας.

Μείνετε συντονισμένοι για την επόμενη φορά που θα εμβαθύνουμε στην Κρίση της Αντιγραφής. Δεν θέλετε να το χάσετε.

Ειλικρινά ελπίζω να βρείτε την ηρεμία σας σε αυτή την καταιγίδα που μαίνεται γύρω μας. Και, φυσικά, μη σταματήσετε να αμφισβητείτε την επιστήμη! Ποτέ δεν είναι ξεκαθαρισμένη.

Σας ευχαριστώ και ο Θεός να σας ευλογεί.

Αναφορές:

(2005): Ιωαννίδης, Γ. Γιατί τα περισσότερα δημοσιευμένα ερευνητικά ευρήματα είναι ψευδή. PLOS Medicine, 2(8), e124. https://doi.org/10.1371/JOURNAL.PMED.0020124
Colquhoun, D. (2014). Μια διερεύνηση του ποσοστού ψευδούς ανακάλυψης και της παρερμηνείας των p-values. Royal Society Open Science, 1(3). https://doi.org/10.1098/RSOS.140216
Horton, R. (2015). Offline: Τι είναι το 5 σίγμα της ιατρικής; The Lancet, 385(9976), 1380. https://doi.org/10.1016/S0140-6736(15)60696-1
Moonesinghe, R., Khoury, M. J., & Janssens, A. C. J. W. (2007). Τα περισσότερα δημοσιευμένα ερευνητικά ευρήματα είναι ψευδή-αλλά λίγη αναπαραγωγή κάνει πολύ δρόμο. PLoS Medicine, 4(2), e28. https://doi.org/10.1371/JOURNAL.PMED.0040028