Kan vi stole på forskningen i fagfeltet vårt? Vil tidligere studier gi samme resultat hvis vi prøver å gjøre de på nytt? Dette er spørsmål som blir stilt i lys av replikasjonskrisen i moderne psykologisk forsking.
Flere mener at psykologien, og andre forskningsfelt, er i krise (1)Gelman, A., & Loken, E. (2013). The garden of forking paths: Why multiple comparisons can be a problem even when there is no “fishing expectation” or “p-hacking” and the research hypothesis was posited ahead of time. Hentet fra http://www.stat.columbia.edu/~gelman/research/unpublished/p_hacking.pdf, (2)Nuzzo, R. (2015). How scientists fool themselves–and how they can stop. Nature News, 526(7572), 182-185. doi:10.1038/526182a, (3)Pashler, H., & Harris, C. R. (2012). Is the replicability crisis overblown? Three arguments examined. Perspectives on Psychological Science, 7(6), 531-536. doi:10.1177/1745691612463401, (4)De Boeck, P., & Jeon, M. (2018). Perceived crisis and reforms: Issues, explanations, and remedies. Psychological Bulletin, 144(7), 757-777. doi:10.1037/bul0000154. Dette dreier seg hovedsakelig om at vi ikke klarer å etterprøve tidligere funn, og replikasjonskrisen beskriver erkjennelsen av denne svakheten ved forskningen. Krisen rokker ved en av bærebjelkene for psykologien: tanken om at vi er i stand til å produsere troverdig kunnskap. Hvis vi ikke kan bygge opp en ansamling kunnskap om atferd og mentale prosesser, så vil det være grunn til å stille spørsmålstegn ved psykologi som fagfelt, og den praktiske anvendelsen av psykologisk kunnskap. Hva er forskningen verdt hvis vi ikke klarer å etterprøve den?
Noen eksempler på fenomen og hypoteser som det har blitt stilt spørsmål ved troverdigheten om basert på mislykkede replikasjonsforsøk er ego depletion, priming-effekter og facial feedback-hypotesen. De mislykkede replikasjonene har ledet til diskusjoner mellom forskerne som stod bak originalstudiene (5)Baumeister, R. F., & Vohs, K. D. (2016). Misguided effort with elusive implications. Perspectives on Psychological Science, 11(4), 574-575. doi:10.1177/1745691616652878 og forskerne som stod bak replikasjonsforsøkene (6)Hagger, M. S., & Chatzisarantis, N. L. (2016). Commentary: Misguided effort with elusive implications, and sifting signal from noise with replication science. Frontiers in Psychology, 7, 1-3. doi:10.3389/fpsyg.2016.00621 om hva replikasjonsforsøkene faktisk betyr for effektenes gyldighet. På et mer overordnet nivå enn de spesifikke effektene, så er det særlig større replikasjonsforsøk som har gitt et overblikk over hvor lite reproduserbar psykologisk forskning kan være.
De større replikasjonsforsøkene har tatt utgangspunkt i å evaluere etterprøvbarhet med direkte replikasjoner. I et direkte replikasjonsforsøk prøver man å tilrettelegge for at replikasjonen blir utført så likt den originale studien som mulig, slik at de nødvendige betingelsene for å vise funnet på nytt er tilstede (7)Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716. doi:10.1126/science.aac4716. Tanken er da at man vil kunne teste om man finner det samme når man gjør studien på nytt, og dermed si noe om troverdigheten til originalfunnet. Dette skiller seg fra en konseptuell replikasjon, der man prøver å skape en bedre teoretisk forståelse av en effekt ved å endre måten man måler variablene i studien på.
I 2015 ble det publisert et større replikasjonsforsøk utført av forskere i Open Science Collaboration (8)Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716. doi:10.1126/science.aac4716, der 270 forskere prøvde å replisere funn i 100 studier. Dette var artikler i sosialpsykologi og kognitiv psykologi. Kun rundt 1/3 av studiene ble etterprøvd1, og i de fleste replikasjonsforsøkene var effekten mindre enn i originalstudien. Dette tyder altså på at store deler av litteraturen ikke vil la seg etterprøve, og at effektene som er rapportert i litteraturen virker overdrevne sammenlignet med realiteten. Det at funn ikke lar seg etterprøve betyr ikke nødvendigvis at originalfunnet er falskt; det kan også være uavklarte forskjeller i måten originalstudien og replikasjonsforsøket ble utført på som er årsaken. Likevel har den lave graden av reproduserbarhet blitt tatt til inntekt for at psykologien er inne i en replikasjonskrise, og at mye av kunnskapen vi har antatt er etterprøvbar ikke egentlig er det.
For kort tid siden ble det publisert et nytt replikasjonsforsøk av samfunnsvitenskapelig forskning (9)Camerer, C. F., Dreber, A., Holzmeister, F., Ho, T. H., Huber, J., Johannesson, M., … & Wu, H. (2018). Evaluating the replicability of social science experiments in Nature and Science between 2010 and 2015. Nature Human Behaviour, 2(9), 637-644. doi:10.1038/s41562-018-0399-z, blant annet psykologisk forskning, der forskerne forsøkte å etterprøve resultater fra 21 artikler publisert i Science og Nature, to høyprofilerte tidsskrifter. Reproduserbarhetsraten var over 60%, noe som er betraktelig høyere enn det som ble vist i studien fra 2015, og som gir grunn til større optimisme knyttet til psykologiens etterprøvbarhet. Samtidig viste også dette nye forsøket mindre effekter, der studiene i gjennomsnitt hadde en halvering av effektstørrelsen fra originalfunnet til funnet i replikasjonsforsøket. Selv med de mest optimistiske utsiktene vil altså effektene i litteraturen være overdrevne, og uavhengig av den nøyaktige reproduserbarhetsraten er det tydelig at større deler av litteraturen ikke vil la seg etterprøve.
Jeg mener at replikasjonskrisen bør gjøre oss mer kritiske til forskningen vi leser og studiene som er rapportert i lærebøkene våre. For å forstå hvordan forskningen har havnet i denne tilstanden, og hvordan vi kan utføre forskning på en mer reproduserbar måte, er det viktig å ta hensyn både til forklaringer på hva som har ledet oss hit, og forslag til hvor veien bør gå videre. I to artikler fremover vil Katarsis se nærmere på årsakene som har ledet til krisen i psykologisk forskning, og hvilke endringer vi kan gjøre i forståelsen og utøvelsen av forskning som kan bote på problemene.
1 Etterprøvbarhet ble her vurdert med hvorvidt funnet i replikasjonsforsøket var signifikant.
Referanseliste