Tudományos Kutatások és Eredmények Változékonysága
Az elmúlt évtizedben a társadalom- és viselkedéstudományok területén jelentős reformok kezdődtek, amelyek célja a tudományos kutatások átláthatóságának és reprodukálhatóságának javítása volt. A különféle módszerek, mint például az előregisztráció, a regisztrált közlemények és a replikációs vizsgálatok alkalmazása mind arra irányult, hogy csökkentsék a véletlen vagy torz eredmények előfordulását. Egy kérdés azonban, amely eddig nem kapott kellő figyelmet, az, hogy a kutatási eredmények mennyire függenek az adatok feldolgozásának módjától.
Általában egy adatállományt egyetlen kutató vagy kutatócsoport vizsgál, s az eredmények bemutatására kizárólag a választott elemzési út kerül terítékre. A lektorálás ellenőrzi a módszertani szempontokat, azonban ritkán világos, hogy más statisztikai döntések esetén milyen eredmények születnének.
A tudományos kutatások során sok döntési pont merül fel, beleértve az adatok tisztítását, a változók meghatározását, valamint a statisztikai modellek és szoftverek kiválasztását. Ezek a választások jelentős hatással vannak a végső következtetésekre, amelyek így szoros kapcsolatban állnak az úgynevezett elemzési variabilitással.
Nemzetközi Kutatás és Eredményei
Ennek a jelenségnek a vizsgálatára indult el egy nemzetközi kutatás, amelynek vezetői között Aczél Balázs és Szászi Barnabás (ELTE és Corvinus Egyetem) is szerepeltek. A projekt során 457 független elemző összesen 504 újraelemzést hajtott végre 100, véletlenszerűen kiválasztott korábban publikált kutatás adatain.
Az elemzők ugyanazt az adatállományt kapták, és ugyanarra a kutatási kérdésre keresték a választ, azonban szabadon dönthettek az alkalmazott módszerekről. Az elemzések eredménye jelentős eltéréseket mutatott: míg az újraelemzések többsége megerősítette az eredeti tanulmányok főbb állításait, a hatásméretek és a statisztikai becslések mértéke gyakran lényegesen eltért, s az esetek mindössze körülbelül harmadában állapították meg ugyanazt a következtetést, mint az eredeti szerzők.
A Tapasztalatok Tanulságai
Az eltérések forrása nem a statisztikai járatlanságból eredt, hiszen a tapasztalt kutatók is hasonló mértékben jutottak különböző eredményekre. A kutatás során kiderült, hogy a megfigyeléses vizsgálatok kevésbé robusztusnak bizonyultak az eredmények stabilitása szempontjából, míg a kísérleti tanulmányok a várható eredmények pontosságát jobban megőrizték.
A szerzők hangsúlyozzák, hogy ezek az eltérések nem kérdőjelezi meg a korábbi kutatások validitását, hanem éppen ellenkezőleg, rávilágítanak, hogy a tudományos közlemények egy-egy elemzése nem tükrözi a valós empirikus bizonytalanságokat, s az elemzési variabilitás figyelmen kívül hagyása indokolatlan magabiztossághoz vezethet.
A tanulmány a „multiverse” típusú elemzések és a több elemző bevonásának szélesebb körű alkalmazását javasolja, különösen a tudományos vagy társadalmi szempontból jelentős kérdések esetében. Ezek a megközelítések nem egyetlen „igaz” válasz keresésére irányulnak, hanem lehetővé teszik, hogy láthatóvá váljon, mennyire stabilak vagy éppen törékenyek a tudományos következtetések.
