Prerejestracja badania

Prerejstracja badania, prerejestracja planu badawczego, wstępna rejestracja projektu badania – w metodologii i wnioskowaniu statystycznym, zarejestrowanie planu zbierania i analizy danych przed realizacją konfirmacyjnego badania naukowego, w celu zagwarantowania jego zgodności z założeniami metodologicznymi[1][2][3][4][5][6].

Motywacja

Wskaźniki jakości badań konfirmacyjnych, takie jak poziom istotności, zależą ściśle od przestrzegania określonych procedur metodologicznych – przede wszystkim, wykonania i opublikowania wyników nie mniej, i nie więcej niż zaplanowanej liczby testów hipotez i porównań, przy założonej z góry wielkości i randomizacji próby. Nieprzestrzeganie założeń modelu statystycznego pozwala osiągnąć nominalną istotność częściej niż dane do tego uprawniają – praktycznie zawsze, co niweczy jednak sens procedury, tj. kontrolę błędów pierwszego i drugiego rodzaju[7]. Takie postępowanie nazywa się ogólnie P-hackingiem, i jest ono zaniedbaniem lub oszustwem naukowym. Redakcje czasopism naukowych mogą dodatkowo pogłębiać zniekształcenie naukowego obrazu rzeczywistości przez tendencyjność publikacji: częstsze publikowanie istotnych statystycznie, sensacyjnych odkryć, i rzadkie publikowanie replikacji badań[8][9]. Zjawiska te można wykryć przy pomocy narzędzi statystycznych i meta-analitycznych[10][11].

W pierwszych dekadach XXI wieku ujawniono szereg tej postaci nadużyć[12][13], oraz stwierdzono, że wielu uznanych za prawdziwe wyników nie udaje się odtworzyć (tzw. kryzys replikacji)[14][15][16][17]. Według hiperbolicznego stwierdzenia Ioannidesa, ze względu na powszechność błędów metodologicznych jest możliwe, że większość opublikowanych rezultatów badań jest fałszywa (tj. PPV nauki może nie przekraczać 50%)[18].

Prerejestracja badań jest proponowaną metodą przeciwdziałania takim problemom, i środkiem zwiększenia wiarygodności badań[1][2][3][4][5][6]. Prerejestracja pozwala także badaczom na zastosowanie niekonwencjonalnych rozwiązań statystycznych, które bez tego zabezpieczenia mogłyby wzbudzić podejrzenia o P-hacking – np. jednostronnych testów hipotez lub innego krytycznego poziomu istotności niż 0,05[19].

Efekty

Przegląd badań klinicznych opublikowanych w latach 1970–2012 w dziedzinie, która w roku 2000 przyjęła obowiązek rejestracji projektu badania, wskazuje że zmiana ta wpłynęła silnie pozytywnie na redukcję tendencyjności publikacji[20]. Podobnie, raport z 2018 r. wskazuje, że stosowanie badań rejestrowanych staje się w ostatnim czasie coraz popularniejsze, a publikacje tego typu znacznie częściej rzetelnie przedstawiają „nieistotne” statystycznie wyniki[21].

Z drugiej strony, analizy prerejestrowanych publikacji medycznych ogłoszone w 2019 r. w ramach projektu COMPare ujawniły, że 87% tekstów zawierało niewyjaśnione odstępstwa od zadeklarowanego planu badania, co powinno było zostać wykryte i poprawione w trakcie recenzji naukowej[22]; redakcje którym zwrócono na to uwagę reagowały – w ocenie uczestników projektu – zbyt często obronnie, nieprzyjaźnie i niekonstruktywnie[23].

Przypisy

  1. ↑ a b Daniël Lakens, Ellen R.K. Evers, Sailing From the Seas of Chaos Into the Corridor of Stability, „Perspectives on Psychological Science”, 9 (3), 2014, s. 278–292, DOI: 10.1177/1745691614528520 [dostęp 2017-02-09] (ang.).
  2. ↑ a b Jens B. Asendorpf i inni, Recommendations for Increasing Replicability in Psychology, „European Journal of Personality”, 27 (2), 2013, s. 108–119, DOI: 10.1002/per.1919, ISSN 1099-0984 [dostęp 2017-02-09] (ang.).
  3. ↑ a b Eric-Jan Wagenmakers i inni, An Agenda for Purely Confirmatory Research, „Perspectives on Psychological Science”, 7 (6), 2012, s. 632–638, DOI: 10.1177/1745691612463078 [dostęp 2017-02-09] (ang.).
  4. ↑ a b Brian A. Nosek, Daniël Lakens, Registered Reports, „Social Psychology”, 45 (3), 2014, s. 137–141, DOI: 10.1027/1864-9335/a000192, ISSN 1864-9335 [dostęp 2017-02-09].1 stycznia
  5. ↑ a b Budzicz Łukasz, Dyskusja „po Stapelu” wokół rzetelności badań i publikacji w psychologii, „Roczniki Psychologiczne”, 18 (1), 2015, ISSN 1507-7888 [dostęp 2017-02-09] (pol.).1 stycznia
  6. ↑ a b Jerzy Marian Brzeziński, Czy warto (trzeba) dyskutować o różnych aspektach uprawiania psychologii w Polsce?, „Roczniki Psychologiczne”, 17 (3), 2014, ISSN 1507-7888 [dostęp 2017-02-09] (pol.).1 stycznia
  7. ↑ Joseph P. Simmons, Leif D. Nelson, Uri Simonsohn, False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant, Rochester, NY , 23 maja 2011 [dostęp 2017-02-09].
  8. ↑ K. Dickersin i inni, Publication bias and clinical trials, „Controlled Clinical Trials”, 8 (4), 1987, s. 343–353, DOI: 10.1016/0197-2456(87)90155-3 [dostęp 2017-02-09].
  9. ↑ Matthew C. Makel, Jonathan A. Plucker, Boyd Hegarty, Replications in Psychology Research, „Perspectives on Psychological Science”, 7 (6), 2012, s. 537–542, DOI: 10.1177/1745691612460688 [dostęp 2017-02-09] (ang.).
  10. ↑ Matthias Egger i inni, Bias in meta-analysis detected by a simple, graphical test, „British Medical Journal”, 315 (7109), 1997, s. 629–634, DOI: 10.1136/bmj.315.7109.629, ISSN 0959-8138, PMID: 9310563 [dostęp 2017-02-09] (ang.).
  11. ↑ Uri Simonsohn, Joseph P. Simmons, Leif D. Nelson, Better P-Curves: Making P-Curve Analysis More Robust to Errors, Fraud, and Ambitious P-Hacking, A Reply to Ulrich and Miller, Rochester, NY , 10 lipca 2015 [dostęp 2017-02-09].
  12. ↑ Uri Simonsohn, Just Post It: The Lesson from Two Cases of Fabricated Data Detected by Statistics Alone, Rochester, NY , 29 stycznia 2013 [dostęp 2017-02-09].
  13. ↑ Joseph P. Simmons, Uri Simonsohn, Power Posing: P-Curving the Evidence, Rochester, NY , 26 września 2016 [dostęp 2017-02-09].
  14. ↑ Open Science Collaboration, Estimating the reproducibility of psychological science, „Science”, 349 (6251), 2015, aac4716, DOI: 10.1126/science.aac4716, ISSN 0036-8075, PMID: 26315443 [dostęp 2017-02-09] (ang.).
  15. ↑ Monya Baker, 1,500 scientists lift the lid on reproducibility, „Nature”, 533 (7604), 2016, s. 452–454, DOI: 10.1038/533452a [dostęp 2017-02-09] (ang.).
  16. ↑ Andrew Gelman, Eric Loken, The Statistical Crisis in Science, „American Scientist”, 102 (6), DOI: 10.1511/2014.111.460 [dostęp 2017-02-09] (ang.).c?
  17. ↑ Regina Nuzzo, How scientists fool themselves – and how they can stop, „Nature”, 526 (7572), 2015, s. 182–185, DOI: 10.1038/526182a [dostęp 2017-02-09] (ang.).
  18. ↑ John P.A. Ioannidis, Why Most Published Research Findings Are False, „PLOS Medicine”, 2 (8), 2005, e124, DOI: 10.1371/journal.pmed.0020124, ISSN 1549-1676, PMID: 16060722, PMCID: PMC1182327 [dostęp 2017-02-09].c?
  19. ↑ Jelte M. Wicherts i inni, Degrees of Freedom in Planning, Running, Analyzing, and Reporting Psychological Studies: A Checklist to Avoid p-Hacking, „Frontiers in Psychology”, 7, 2016, DOI: 10.3389/fpsyg.2016.01832, ISSN 1664-1078, PMID: 27933012, PMCID: PMC5122713 [dostęp 2017-02-09].
  20. ↑ Robert M. Kaplan, Veronica L. Irvin, Likelihood of Null Effects of Large NHLBI Clinical Trials Has Increased over Time, „PLOS ONE”, 10 (8), 2015, e0132382, DOI: 10.1371/journal.pone.0132382, ISSN 1932-6203, PMID: 26244868, PMCID: PMC4526697 [dostęp 2017-02-09].
  21. ↑ John P.A. Ioannidis, Tom E. Hardwicke, Mapping the universe of registered reports, „Nature Human Behaviour”, 2 (11), 2018, s. 793–796, DOI: 10.1038/s41562-018-0444-y, ISSN 2397-3374 [dostęp 2019-03-05] (ang.).
  22. ↑ Ben Goldacre i inni, COMPare: a prospective cohort study correcting and monitoring 58 misreported trials in real time, „Trials”, 20 (1), 2019, s. 118, DOI: 10.1186/s13063-019-3173-2, ISSN 1745-6215, PMID: 30760329, PMCID: PMC6375128 [dostęp 2019-03-05].
  23. ↑ Ben Goldacre i inni, COMPare: Qualitative analysis of researchers’ responses to critical correspondence on a cohort of 58 misreported trials, „Trials”, 20 (1), 2019, s. 124, DOI: 10.1186/s13063-019-3172-3, ISSN 1745-6215, PMID: 30760328, PMCID: PMC6374909 [dostęp 2019-03-05].