81.394
Bearbeitungen
Änderungen
→Beispiel: publication bias in der PSI-Forschung
==Beispiel: publication bias in der PSI-Forschung==
==Beispiel: publication bias in der PSI-Forschung==
Ein Beispiel für einen Fall eines publication bias war die Unmöglichkeit von Forschern, eine gescheiterte Replikation einer publizierten Studie zu einem hypothetischen PSI-Effekt des Professor emeritus an der Cornell University, Daryl Bem in einem peer-reviewten Journal zu veröffentlichen. Dieser hatte behauptet, dass [[Präkognition]], also die behauptete Fähigkeit, [[Hellsehen|die Zukunft vorsagen zu können]], existiert. Mit seinen Experimenten an 1.000 Versuchspersonen wollte er gezeigt haben, dass diese besser bei Tests abschnitten, wenn sie im Nachhinein “übten”. Autor Bem konnte seine Studie 2011 im peer-reviewten Journal of Personality and Social Psychology veröffentlichen.<ref>Daryl J. Bem, Feeling the Future: Experimental Evidence for
Ein Beispiel für einen Fall eines publication bias war die Unmöglichkeit von Forschern, eine gescheiterte Replikation einer publizierten Studie zu einem hypothetischen PSI-Effekt des Professor emeritus an der Cornell University, Daryl Bem in einem peer-reviewten Journal zu veröffentlichen. Daryl Bem hatte behauptet, dass [[Präkognition]], also die behauptete Fähigkeit, [[Hellsehen|die Zukunft vorsagen zu können]], existiert. Mit seinen Experimenten an 1.000 Versuchspersonen wollte er gezeigt haben, dass diese besser bei Tests abschnitten, wenn sie im Nachhinein “übten”. Autor Bem konnte seine Studie 2011 im peer-reviewten Journal of Personality and Social Psychology veröffentlichen.<ref>Daryl J. Bem, Feeling the Future: Experimental Evidence for
Anomalous Retroactive Influences on Cognition and Affect, Journal of Personality and Social Psychology, (2011) 100, 407-425 [http://dbem.ws/FeelingFuture.pdf Volltext online]</ref>
Anomalous Retroactive Influences on Cognition and Affect, Journal of Personality and Social Psychology, (2011) 100, 407-425 [http://dbem.ws/FeelingFuture.pdf Volltext online]</ref> Bem ermutigte ausdrücklich Fachkollegen seine Studie mit gleicher Methodik zu wiederholen: ''..Issues of Replication - Replication packages are available on request for Macintosh and Windows-based computers to encourage and facilitate replication of the experiments reported here. I suspect that the experiments on retroactive priming and retroactive facilitation of recall will be the easiest to replicate successfully..''
Natürlich fanden sich sofort Kritikpunkte an der Studie, aber wie es nun in der Wissenschaft so üblich ist, wurde das Wichtigste Experiment unabhängig wiederholt, um Nachweise für den genannten Effekt zu finden. Jeder Skeptiker wird wahrscheinlich ob des Ergebnisses total verblüfft sein: “Nichts.”
Der Effekt, den Bem beobachtet hatte, konnte nicht repliziert werden. Wiederholbarkeit ist jedoch eines der Hauptkriterien wissenschaftlicher Experimente und ohne Wiederholbarkeit hat man “Nichts”.
Bem selbst ist davon wenig beeindruckt. In einem Kommentar schrieb er, es sei “premature to conclude anything about the replicability” und vor allem:
But there is one potential difference they fail to discuss: The possible effects of experimenter expectations and attitudes about the experimental hypothesis—as demonstrated by Robert Rosenthal in mainstream psychology several years ago. This has also been found to be a source of non-replication in psi experiments. Even if the principal investigator is not the actual experimenter, he or she can easily transmit skepticism and negative expectations to the actual experimenters …
Mit anderen Worten: die Skeptiker seien voreingenommen an die Sache herangegangen und hätten so das Ergebnis negativ beeinflusst.
Also, da haben wir auf der einen Seite ein dubioses Ergebnis, das sich nicht mit unserem Erkenntnisstand vereinbaren lässt. Aber das Ergebnis, das zum aktuellen Wissensstand passt, soll durch Voreingenommenheit verfälscht sein.
Ernsthaft? Dieses Argument wollen Sie vorbringen, Professor Bem?
Die Autoren der Studie antworten auf diese und andere vorgebrachte Argumente in einem eigenen Kommentar, in dem sie ihre Vorgehensweise erklären und zu den Vorwürfen von Bem Stellung nehmen.
Spannend ist noch zu erwähnen, dass die Studie ebenfalls beim Journal of Personality and Social Psychology – dem Journal, das auch Bem publiziert hatte – eingereicht und dann abgelehnt wurde, da es “nur” eine Replikation eines Experiments sei.
Einer der Autoren der Studie (Ritchie) zeigt sich bestürzt:
“There’s a real problem with finding shocking findings and then not being interested in publishing replications,”
Es zeigt das Problem des Publikationsbias sehr schön. Journale sind nicht interessiert an Studien mit negativen Ergebnissen – speziell solchen, die einfach nur vorhergehende Ergebnisse prüfen. Nur Erfolge zählen, Misserfolge sind nicht erwünscht. Auch weitere Versuche, das Papier zu veröffentlichen, schlugen fehl, diverse Journale lehnten ab. Besonders pikant die Ablehnung durch das “British Journal of Psychology”, da dort Bem selbst einer der Reviewer war. (Der Bock zum Gärtner …)
Die Autoren waren dann sehr erfreut, dass sie ihre Arbeit schließlich beim Open Access Journal PLoS ONE(Public Library of Science) veröffentlichen konnten.
Der Guardian berichtet sehr umfassend darüber.
Weitere Wiederholungen der Experimente werden sicher durchgeführt werden und die uns Esowatchern innewohnenden hellseherischen Kräfte lassen uns ganz klar vorhersehen, dass auch weiterhin keine hellseherischen Kräfte gefunden werden.
Was die Journale und ihre Publikationsstrategie angeht, so zeigt dieses Beispiel einmal mehr, dass Änderungen notwendig sind. Wir haben ja schon öfter über die Journal/Publikations/Open Science-Thematik geschrieben; es steht zu hoffen, dass Publikationsbias irgendwann der Vergangenheit angehört.
==Weblinks==
==Weblinks==