Teadusuuringute terviklikkuse jälgijad on mures selle pärast, et teadlased saavad üha enam võltsida või manipuleerida oma uuringute tsitaatide arvu. Viimastel kuudel on esile kerkinud üha julgemad tavad. Üks lähenemisviis paljastati salajase tegevuse kaudu, mille käigus rühm teadlasi ostis 50 viidet, et täiendada nende loodud võltsitud teadlase Google Scholar'i profiili.
Teadlased ostsid tsitaadid 300 USA dollari eest firmalt, mis näib müüvat võltsitud tsitaate hulgi. See kinnitab võltsitud viidete musta turu olemasolu, mille üle teadustööga seotud luurajad on juba ammu spekuleerinud, väidab töörühm.
„Me hakkasime märkama mitmeid Google Scholar'i profiile, millel olid küsitavad tsiteerimistrendid,“ ütleb Yasir Zaki, New Yorgi Ülikooli (NYU) Abu Dhabi arvutiteadlane, kelle töörühm kirjeldas oma pettustööd veebruaris avaldatud eelväljaandes1. „Kui käsikiri omandab sadu tsiteeringuid mõne päeva jooksul pärast avaldamist või kui teadlase tsiteeringute arv kasvab järsult ja suurel määral, siis teate, et midagi on valesti.“
Selline tegevus on murettekitav, sest paljud teadlase karjääri aspektid sõltuvad sellest, kui palju viiteid tema tööd koguvad. Paljud institutsioonid kasutavad teadlaste hindamiseks tsitaatide arvu ning tsitaatide arvud annavad teavet selliste näitajate kohta nagu h-indeks, mille eesmärk on mõõta teadlaste tootlikkust ja nende uuringute mõju.
Tsitaatidega manipuleerimisel võivad olla reaalsed tagajärjed. Juunis teatas Hispaania ajaleht El País, et riigi teadusuuringute eetikakomitee kutsus Salamanca ülikooli üles uurima oma äsja ametisse nimetatud rektori Juan Manuel Corchado tööd, keda süüdistatakse Google Scholar'i näitajate kunstlikus suurendamises. (Corchado ei vastanud Nature'i palvele kommenteerida.)
Teadusuuringute terviklikkuse jälgijad olid juba varem kahtlustanud, et tsitaadid on müügiks paberivabrikutes, teenustes, mis toodavad madala kvaliteediga uuringuid ja müüvad autorikohta juba vastuvõetud töödel, ütleb Cyril Labbé, Grenoble Alpes'i ülikooli arvutiteadlane Prantsusmaal. „Paberitehastel on võimalus lisada tsitaate töödesse, mida nad müüvad,“ ütleb ta.
2023. aasta novembris jättis Pennsylvania osariigis Philadelphias asuv analüüsifirma Clarivate oma iga-aastasest kõrgelt tsiteeritud teadlaste nimekirjast välja üle 1000 teadlase, sest kardetakse tsitaatidega mängimist ja „hüperväljaandmist“.
Zaki ja tema kolleegid lõid oma salakavalas operatsioonis Google Scholar'i profiili fiktiivsele teadlasele ja laadisid üles 20 väljamõeldud uuringut, mis olid loodud tehisintellekti abil.
Seejärel pöördusid nad ühe andmekogumi ühe autoriga seotud kahtlaste tsiteeringute analüüsimisel ettevõtte poole, mis näis müüvat Google Scholar'i profiilidele tsiteeringuid. Uuringu autorid võtsid ettevõttega ühendust e-posti teel ja hiljem suhtlesid WhatsAppi kaudu. Ettevõte pakkus 50 tsitaati 300 dollari eest või 100 tsitaati 500 dollari eest. Autorid valisid esimese variandi ja 40 päeva hiljem lisati fiktiivse teadlase Google Scholar'i profiilile 50 tsitaati 22 ajakirjast pärit uuringutest - millest 14 on indekseeritud teadusandmebaasis Scopus -.
Meeskond ei jaganud ettevõtte nime Nature'iga, viidates murele, et selle avalikustamine võib juhtida tähelepanu nende veebisaidile või nende loodud võltsitud Google Scholar'i profiilile, sest see võib paljastada võltstststsitud tsitaate paigutanud uuringute autorite isikuid. Nature'i küsimusele, kas Google Scholar on teadlik, et tema saidile saab luua võltsitud profiile, vastas ettevõtte väljapaistev insener Anurag Acharya: „Kuigi akadeemiline väärkäitumine on võimalik, on see haruldane, sest kõik aspektid on nähtavad - indekseeritud artiklid, autori poolt oma profiilile lisatud artiklid, artiklitele viidates autorile, kus viidatud artikleid hoitakse ja nii edasi. Igaüks maailmas võib teid selle peale kutsuda.“
Teise näitena tsitaatidega manipuleerimisest lõid teadlased eelmisel kuul Larry-nimelise kassi jaoks võltsitud Google Scholar'i profiili, kus oli loetletud kümmekond võltsitud artiklit, mille ainsaks autoriks oli Larry. Teadlased postitasid akadeemilise suhtlusvõrgustiku ResearchGate'ile veel kümmekond mõttetut uuringut, mis tsiteerisid Larry töid. Umbes nädal pärast Larry identiteedi avalikustamist eemaldas Google Scholar kassi uuringud, Larryd tsiteerivad uuringud ja kogunenud tsitaadid. ResearchGate eemaldas ka Larryd tsiteerivad võltsuuringud.
Zaki ja kolleegide varitsusoperatsioon sündis laiemast püüdest hinnata võltsitud tsitaatide probleemi ulatust. Nad kasutasid tarkvara, et uurida umbes 1,6 miljonit Google Scholar'i profiili, millel oli vähemalt 10 publikatsiooni. Nad otsisid profiile, millel oli üle 200 tsiteeringu, ja juhtumeid, kus teadlaste tsiteeringud kasvasid igal aastal vähemalt 10 korda või rohkem või kui tõus oli vähemalt 25% nende tsiteeringute koguarvust. Meeskond leidis 1016 sellist profiili.
Zaki ütleb, et paljud nende profiilide tsitaadid pärinevad preprint-artiklitest, mida ei ole refereeritud, ja et need on tavaliselt loetletud paberite bibliograafias, kuid neid ei tsiteerita käsikirjade põhiosas.
„Tsitaatidega saab hõlpsasti manipuleerida, luues võltsitud preprinte ja kasutades tasulisi teenuseid,“ ütleb kaasautor Talal Rahwan, NYU Abu Dhabi arvutiteadlane.
Autorid küsitlesid ka 574 teadlast, kes töötavad maailma 10 kõige kõrgema tasemega ülikoolis. Nad leidsid, et nendest ülikoolidest, kes arvestavad teadlaste hindamisel tsitaatide arvu, hangib üle 60% need andmed Google Scholarist.
Labbé ei ole veendunud uuringu väites, et Google Scholar on teadlaste tsitaatlusnäitajate hankimiseks laialt levinud. Tema sõnul on varemgi ilmnenud süüdistusi Google Scholariga manipuleerimise kohta ning teadlased on juba ammu kahtlustanud, et selliseid teenuseid pakuvad müüjad. Kuid tema sõnul on tsitaatide müüja paljastamiseks korraldatud vargusoperatsioon esimene omataoline.
Guillaume Cabanac, Prantsusmaal asuva Toulouse'i ülikooli arvutiteadlane, kes on loonud vahendi, mis märgistab võltsitud tööd, mis sisaldavad veidraid pöördeid, mis on lisatud plagiaadituvastustarkvara vältimiseks, ütleb, et paljudes uuringutes ilmuvad tsitaadid töödele, millel pole uuringu teemaga midagi pistmist.
Labbé töörühm töötab välja tööriista, mis märgistab automaatselt kahtlased tsitaatimustrid, mis võivad viidata manipuleerimisele.
Selleks pakub Zaki töörühm välja meetrika nimega tsitaatide kontsentratsiooni indeks, mis on mõeldud avastama juhtumeid, kus teadlane saab palju tsitaate vähestest allikatest. Selline tegevus on sageli märk „tsitaatideringist“, kus teadlased lepivad kokku, et tsiteerivad üksteist, et üksteise näitajaid üles paisutada. „Kahtlased kipuvad omama massilisi tsiteeringuid, mis pärinevad vaid vähestest allikatest,“ ütleb Rahwan.
Üks hirm aususe uurijate seas on see, et petturid mõtlevad välja peenemaid tavasid, et vältida avastamist. Näiteks üks võimalus vältida tsitaatide kontsentratsiooniindeksi poolt avastamist, märgib Labbé, on osta mõned tsitaadid korraga, mitte massiliselt.
Labbé leiab, et viis tsitaatidega mängimise vastu võitlemiseks on muuta stiimuleid akadeemilistes ringkondades nii, et teadlased ei oleks surve all koguda võimalikult palju tsiteeringuid, et oma karjäärile edu saavutada. „Avaldamise ja tsiteerimise surve kahjustab teadlaste käitumist,“ ütleb ta.
More: https://www.nature.com/articles/d41586-024-01672-7
