Evolutsioonibioloog Natalie Pilakouta arvas, et seda on lihtne testida: Islandi geotermilistes kuumaveeallikates elavad kalad eelistavad soojemat vett kui sama liigi liikmed, kes elavad jahedamates lähedalasuvates järvedes. Ent kui ta jõudis oma kaheaastase uuringu lõppu, oli see, mida ta leidis, ebaselge - kui tal oli valida, eelistasid mõlemad kalapopulatsioonid sama jahedamat vett. Tema järeldoktori juhendaja kutsus teda üles tulemusi kõrvale jätma ja jätkama teisi uuringuid: „See on ebaõnnestunud eksperiment,“ öeldi talle. „Te olete vist midagi valesti teinud.“
Need sõnad torkasid, sest publikatsioonid on akadeemilise valuuta oluline osa, eriti karjääri alguses oleva teadlase jaoks, ja ta teadis, et tema tulemuste jaoks kodu leidmiseks on raske leida. Pealegi tundis ta tungivat vajadust jagada vastandlikke tulemusi, mis õõnestavad oletust, et vee-elustik võib globaalse soojenemise tõttu eelistada kõrgemaid temperatuure.
Pilakouta, kes töötab Ühendkuningriigis St Andrews'i ülikoolis, oli üks õnnelikest. Pärast seda, kui ta oli kuue aasta jooksul esitanud oma tulemused seitsmele ajakirjale, avaldati tema uurimus lõpuks jaanuaris 20231 . Kuid tema kogemus illustreerib akadeemiliste ringkondade sageli kurtnud „failikastiprobleemi“, mille puhul null- või negatiivsete tulemustega tulemused - need, mis ei leia seost muutujate või rühmade vahel või mis lähevad vastuollu eelnevalt püstitatud hüpoteesiga - koguvad tolmu positiivsete või oluliste tulemustega uurimuste kasuks. Näiteks 2022. aastal Prantsusmaal läbiviidud teadlaste uuringust selgus, et 75% olid valmis avaldama oma nulltulemusi, kuid ainult 12,5% olid valmis seda tegema2. Aja jooksul moonutab selline erapoolik avaldamine teadustulemusi ning keskendumine olulistele tulemustele võib julgustada teadlasi oma andmeid valikuliselt esitama või tulemuste statistilist tähtsust liialdama. Samuti raiskab see aega ja raha, sest teadlased võivad dubleerida juba läbi viidud, kuid avaldamata jäänud uuringuid. Mõned tõendid viitavad sellele, et probleem on süvenemas, sest aja jooksul on negatiivsete tulemuste arv vähenenud3 .
Rahastajad, kirjastajad ja teadlased ei istu tegevusetult. Paljud ajakirjad julgustavad nüüd uurimisrühmi esitama katsete kavasid ja protokolle enne nende läbiviimist, et ajakirjad saaksid ettepanekud läbi vaadata ja võtta kohustuse tulemused avaldada, olenemata nende tulemustest. Sajad ajakirjad pakuvad nüüd selliseid „registreeritud aruandeid“ ja alates 2018. aastast on seda lähenemisviisi kasutavate ajakirjade arv kahekordistunud.
Positiivsetele tulemustele laseriga keskendumine ei ole ainus viis teaduse tegemiseks, ütleb Virginia osariigis Charlottesville'is asuva Center for Open Science'i tegevdirektor Brian Nosek. Nosek ja terve rida teadlasi üle maailma on püüdnud ümber kirjutada, kuidas teadustööd tehakse, seades kahtluse alla edu mõiste. See hõlmab teaduse ränkade külgede - väärkäitumise, näiteks plagiaadi - mahasurumist, kuid ka üleskutset piirata mõningaid „pehmemaid“ rikkumisi, näiteks valikulist aruandlust, eesmärgiga avaldada rohkem negatiivseid tulemusi. Need muutused on hakanud realiseeruma kogu kirjastussektoris, kuna eelväljaannete serverid levivad ja kirjastajad võtavad kasutusele uusi käsikirjaformaate, käivitavad null-tulemustele pühendatud ajakirju ja kutsuvad üles koostama erinumbreid.
Teadlased on täheldanud toimikukirjelduste probleemi juba aastakümneid. Kuid suuremad probleemid, mida see põhjustab, said selgeks alles 2010. aastate alguses, kui nad asusid reprodutseerima mitmete psühholoogia- ja meditsiiniteaduste alusteadlaste eksperimentide tulemusi ja leidsid, et nad ei suuda seda teha. Teadlased hakkasid uurima selle „replikatsioonikriisi“ ulatust ja avaldamishälbe probleemi.
Nende uuringud paljastasid, kui sageli negatiivseid tulemusi varjatakse. Enam kui 300 000 teaduskonverentsi ettekande, mitteametliku posteri või ettekande analüüsis, mida teadlased sageli püüavad muuta publikatsioonideks, avaldati vähem kui 40 % neist vastastikuse eksperdihinnangu saanud ajakirjades, kusjuures negatiivseid või null tulemusi avaldati palju harvemini kui positiivseid tulemusi4.
Publitseerimise kallutatuse ulatus on eri teadusharude ja riikide lõikes erinev, kuid probleem näib olevat aja jooksul süvenenud. Ajavahemikul 1990-2007 avaldatud 4600 artikli analüüsis leiti, et avaldamishälve on selle aja jooksul suurenenud 22% võrra3.
Sellisel moonutusel võib olla tegelikke tagajärgi. Näiteks 74 registreeritud kliinilisest uuringust, milles hinnati antidepressante, jäi peaaegu kolmandik avaldamata; need uuringud näitasid palju sagedamini negatiivseid kui positiivseid tulemusi5. Ainuüksi publikatsioonide põhjal otsustades näis 94% uuringutest olevat andnud positiivseid tulemusi, samas kui ravimi heakskiitmise komisjon leidis, et 51% neist andis positiivseid tulemusi.
Selline valikuline aruandlus tekitab ravimite tõhususe ülepaisutatud ettekujutuse, mida raskendavad metaanalüüsid - avaldatud kirjanduse ülevaated -, mis sisaldavad peamiselt positiivsete tulemustega uuringuid.
See kallutatus esineb hoolimata asjaolust, et Ameerika Ühendriikides kliinilisi uuringuid läbiviivad uurijad on seadusega kohustatud oma tulemused sõltumata tulemustest esitama; kaalul võivad olla miljardid dollarid ja uuringus osalejad, kes on andnud oma aega ja ootavad, et tulemused avaldatakse. Need tulemused näitavad, „kui kõrge mäe otsa on vaja ronida“, ütleb Nosek.
Negatiivsete või nulltulemustega uuringutele pööratakse sageli rangemat tähelepanu kui positiivsete tulemustega uuringutele, eriti kui positiivsed tulemused „kinnitavad midagi, mida me peame tõeseks“, ütleb Steven Goodman, Stanfordi meditsiinikooli Stanfordi uuringute ranguse ja reprodutseeritavuse programmi asutaja.
Jessica Payne, Indiana osariigis South Bendis asuva Notre Dame'i ülikooli kognitiivneuroteadlane, ütleb, et ikka veel arvatakse, et teadlastel peab olema mingi viga uurimiskavas, kui uuring annab negatiivseid või null tulemusi.
Tõepoolest, 480 majandusteadlase6 hulgas läbi viidud uuringu kohaselt peetakse null-tulemustega uuringuid vähem avaldamiskõlblikuks, madalama kvaliteediga ja vähem tähtsaks kui suurte ja oluliste tulemustega uuringuid, isegi kui selliseid tunnuseid nagu valimi suurus hoitakse konstantsena - see on nähtus, mida nimetatakse null-tulemuste karistuseks (null-tulemuste karistuseks). Goodman ütleb, et suure efekti suurusega uuringut tuleks hoopis rohkem uurida kui nulltulemusega uuringut.
Kordamiskriis tegi ühe asjaolu kristallselgeks: stiimulite struktuurid akadeemilistes ringkondades ei ole alati kooskõlas teadusuuringute terviklikkuse ja reprodutseeritavusega. Sellel on suur roll selles, miks nii vähe negatiivseid uuringuid avaldatakse, ütleb Anne Scheel, Madalmaade Utrechti ülikooli metateadlane.
Scheeli sõnul on nii akadeemilise väärkäitumise kui ka avaldamishälvete põhjuseks sama „avalda või hukku“ kultuur, mida akadeemilised asutused, teadusrahastajad, teadusajakirjad ja teadlased ise säilitavad ja mis premeerib teadlasi, kui nad avaldavad tulemusi mainekates väljaannetes, ütleb Scheel.
Kuid mõned kriitikud väidavad, et nende akadeemiliste väravavalvurite eelarvamused on erapoolikud, sest rahastajad ja tipptasemel ajakirjad ihkavad sageli uudsust ja tähelepanuväärseid tulemusi. Ajakirjade toimetajad muretsevad, et leheküljed täis null-tulemusi meelitavad vähem lugejaid, ütleb Simine Vazire, Austraalia Melbourne'i ülikooli psühholoog ja ajakirja Psychological Science toimetaja.
See tekitab tiheda tagasisideahela teadlaste ja ajakirjade vahel. Et meelitada ajakirju uute ja tähelepanuväärsete leidudega, võib mõnel teadlasel tekkida kiusatus muuta pärast tulemuste nägemist oma hüpoteesi või avaldada ainult osa andmetest või teha statistilisi trikke, ütleb Nosek.
Selleks, et julgustada rohkem teadlasi nulltulemustest teatama, proovivad ajakirjad ja rahastajad mitmeid skeeme. Üks olulisemaid muutusi, mis on tulnud replikatsioonikriisist, on eelregistreerimise laiendamine (vt „Registreerimine kasvab“), mille puhul teadlased peavad uuringu alguses esitama oma hüpoteesi ja tulemused, mida nad kavatsevad mõõta, avalikus andmebaasis (see on kliinilistes uuringutes juba normiks).
Eelregistreerimise mudel sunnib teadlasi olema truuks oma uuringu algsele kavatsusele, kuid see ei käsitle eelarvamusi, mis võivad mõjutada nende tulemuste esitamist ajakirjale, ega ka ajakirjade toimetajate ja retsensentide eelarvamusi otsustamisel, mida avaldada, ütleb Nosek.
Selle asemel on ta ja tema kolleegid keskendunud registreeritud aruande mudeli edendamisele ja hindamisele - see on sarnane eelregistreeritud aruandega, kuid esialgne plaan avaldatakse ajakirjas koos kohustusega hinnata ja avaldada tulemused.
Esialgsed andmed näivad paljutõotavad: kui Scheel ja tema kolleegid võrdlesid 71 registreeritud aruande tulemusi juhusliku valimi 152 standardpsühholoogia käsikirjast, leidsid nad, et 44% registreeritud aruannete tulemused olid positiivsed, võrreldes 96% standardväljaannetega7 (vt „Kavatsus avaldada“). Ning Nosek ja tema kolleegid leidsid, et retsensendid hindasid psühholoogia ja neuroteaduste registreeritud aruandeid kõrgemalt teadusuuringute ranguse ja kvaliteedi näitajate alusel võrreldes standardmudeli alusel avaldatud töödega8.
Kui formaat 2012. aastal käivitati, avaldas registreeritud aruandeid vaid käputäis ajakirju; nüüd pakuvad seda formaati üle 300, sealhulgas PLoS ONE ja Nature, mida avaldab Springer Nature (Nature'i uudiste meeskond on ajakirjade meeskonnast toimetuse poolest sõltumatu). Alates selle formaadi pakkumisega alustamisest veebruaris 2023 ei ole Nature veel ühtegi registreeritud aruannet avaldanud, kuid tema sõsarajakiri Nature Human Behaviour on seda teinud.
Kuigi see formaat on muutunud üha populaarsemaks, on teadlaste sõnul veel mõned probleemid lahendamata. Selle aasta alguses avaldas Šveitsi Baseli ülikooli uneuurija Christine Blume ajakirjas Nature Human Behaviour oma esimese registreeritud aruande9 selle kohta, kuidas valgus mõjutab inimese ööpäevast rütmi. Kuigi talle meeldis, et ta sai enne andmete kogumist tagasisidet oma uuringukava kohta - „see andis mulle tunde, et mul on parim uuringukava, et vastata küsimusele, mida ma tahtsin käsitleda,“ ütleb ta -, leidis ta, et on pettumust valmistav, et tagasisideprotsess võib kesta kuid, kuigi teadlastel on piiratud aeg, mille jooksul nad saavad kulutada stipendiumiraha.
Nosek ütleb, et neid praktilisi probleeme on oluline lahendada. Ta tunnistab, et tema enda töö registreeritud aruannete kvaliteedi kohta8 ei olnud ise registreeritud aruanne, sest toetusraha oli lõppemas ja meeskonnal ei olnud aega läbida pikka heakskiitmisprotsessi ja viia oma analüüs lõpule. „Me ei saa pragmaatilisust kõrvale jätta, kuid me saame mõelda, kuidas me saaksime alandada tõkkeid, et rohkemate selliste asjaoludega saaks tegeleda,“ ütleb ta.
Registreeritud aruandeid pakkuvad ajakirjad ei ole ühtlaselt levinud eri erialadel; enamik neist on psühholoogias ja viimasel ajal ka neuroteadustes. Vähesed füüsikateaduslikud ajakirjad pakuvad seda formaati - isegi kui nulltulemused, nagu näiteks Genfi lähedal Šveitsis asuva suure hadronite põrguti ebaõnnestumine uute subatomaarsete osakeste leidmisel pärast Higgsi bosoni leidmist, on olnud oluline osa edusammudest. Emily Sena, Ühendkuningriigi Edinburghi ülikooli translatiivse meditsiini teadlane ja metateadlane, ütleb, et vähesed prekliiniliste valdkondade teadlased on olnud huvitatud selle formaadi proovimisest, eriti kui juba praegu on nii palju bürokraatiat, enne kui teadlased saavad oma eksperimente alustada.
Vazire ütleb, et see formaat on teadlaste seas aeglaselt levinud. „Meile ei laeku palju registreeritud aruandeid.“
Sena ja tema kolleegid on levitanud teavet registreeritud aruannete kohta ja aidanud ajakirjade toimetajatel tunda end esitatavate aruannete läbivaatamiseks valmis olevat, ütleb ta. Mõned rahastajad pakuvad rahalisi stiimuleid: 2022. aastal pakkus Avatud Teaduse Keskus kuni 50 000 USA dollarit teadlastele, kes soovivad avaldada oma töö kohta registreeritud aruande.
Sena ütleb, et oluline on jälgida, kuidas need sekkumised mõjutavad marginaliseeritud rühmi akadeemilistes ringkondades. Värvilised akadeemikud on suurema tõenäosusega fikseeritud lepinguga, seega on neil vähem vingerpussi, et võtta omaks formaate, mis võivad olla teaduse jaoks üldiselt paremad, kuid üksikute teadlaste jaoks vähem kasulikud, ütleb ta.
Avatud teaduse keskus plaanib teha katseid, mille käigus teadlastele antakse juhuslikult valida, kas nad kasutavad standardset avaldamismudelit või registreeritud aruannet, et hinnata saadud publikatsioonide rangust, vastuvõetavust ja tähtaegu. Tulemusi oodatakse 2027. aastaks.
Kõik jõupingutused avaldamishälvete vähendamiseks ei ole vilja kandnud. Nosek ütleb, et harva on õnnestunud asutada ajakirju, mille eesmärk on avaldada nulltulemusi. Need jõupingutused on tema sõnul heade kavatsustega, kuid sageli ei toimi, sest ajakiri võib muutuda samastatavaks uuringutega, mida ei õnnestunud mujal avaldada. „See ei saa pakkuda tasu, mida teadlased vajavad,“ ütleb ta.
Payne oli ühe sellise ajakirja, Cambridge University Pressi poolt väljaantava Experimental Results kaaslektor. Ainult kolme aasta pärast lõpetas ajakiri 2023. aastal väljaandmise, kuigi kandis „Cambridge'i imprimaturit“, ütleb ta.
Negatiivsete tulemuste avaldamiseks on üha populaarsem do-it-yourself-tee: käsikirja avaldamine preprint-serveris. Preprint'i avaldamine võib pakkuda võimalust tutvustada teadusuuringuid ilma ajakirja esitamise surveta. See võimalus võib Pilakouta sõnul olla eriti kasulik karjääri alustavatele teadlastele. Siiski võtab tulemuste kirjutamine aega, olenemata sellest, kus need avaldatakse, ning eelväljaannete serverites avaldamine ei paku teadlastele tõenäoliselt piisavalt stiimulit, et õigustada ajakulu, ütleb Goodman.
Pooldajad tunnistavad, et mitte iga uuring, mille tulemus on null, ei ole avaldamist väärt. Goodman ütleb, et ta julgustab teadlasi avaldama nulltulemusi ja negatiivseid tulemusi, mis on „informatiivsed“, mis tähendab, et need pärinevad uuringutest ja analüüsidest, mis on koostatud rangelt, seavad kahtluse alla varasemad tulemused ja avavad uusi uurimisvaldkondi.
Näiteks on pikka aega valitsenud arusaam, et emakas on steriilne - et emakas ja loode on mikroorganismidest vabad. Kuid alates 2010. aastast leiti mitmetes töödes platsentas mikroobisaastet, mis seab selle hüpoteesi kahtluse alla ja viitab sellele, et mõned rasedustüsistused võivad olla seotud bakteritega. Alles 2019. aastal näitas 537 naise platsentaproovide uuring - kaugelt suurim arv sellises analüüsis - rangelt bakteriaalsete signaalide puudumist. See uuring pani paika kriteeriumi mikrobioomi uurimiseks kudedes, mis kannavad vähe mikroorganisme ja mis võivad seetõttu anda valepositiivseid tulemusi, ning viitas sellele, et bakteriaalne infektsioon ei ole tavaline rasedusprobleemide põhjus10.
Blume ütleb, et oluline on välja võtta midagi sisukat andmetest, isegi kui need on ebatõenäolised. Näiteks leidis ta 2022. aastal, et kuigi kunstlik valgus pärsib hormooni melatoniini, ei ole see võrdne une kvaliteedi muutusega11. Sõnum, et melatoniin ei pruugi olla une kvaliteedi asendaja, võis aidata selle uuringu avaldamisele kaasa, ütleb ta.
Niikaua kui teadlased jätkavad avaldamise otsimist mainekates väljaannetes, ei kao avaldamishälve, ennustab Goodman. Siiski on ta üllatunud, kui palju on viimase kümne aasta jooksul tehtud edusamme: tipptasemel ajakirjad, mis lubavad vastu võtta rangeid uuringuid, olenemata tulemustest, oleksid olnud „ennekuulmatu“ isegi viis või kümme aastat tagasi, ütleb ta.
Pilakouta juhib nüüd laboratooriumi ja saab olla eeskujuks oma üliõpilastele ja kraadiõppuritele. Kuid ta on ka omal nahal näinud, kui sügavalt juurdunud on janu positiivsete tulemuste järele. „Mind teeb murelikuks, kui varakult see algab,“ ütleb ta. Järgmisel korral, kui ta saab nulltulemuse, ütleb ta, loodab ta, et selle avaldamiseks ei lähe seitse aastat.
