10. oktoobril 2025 ajakirjas Journal of Clinical Anesthesia avaldatud „väga lihtne uuring“, nagu juhtiv autor Konradin Metze seda nimetas, kasutas õigusteaduse vestlusroboteid nagu ChatGPT, Copilot, Gemini ja teisi, et näha, kas need suudavad viiteloendist tagasivõetud artikleid edukalt tuvastada.
Metze ja tema kolleegid koostasid 132 publikatsiooni nimekirja. Nimekiri sisaldas 50 enim tsiteeritud ja tagasivõetud artiklit Joachim Boldtilt, kes on ka Retraction Watchi edetabeli tipus. Veel 50 olid Boldti enim tsiteeritud ja tagasivõtmata artiklid. Ülejäänud olid teiste teadlaste tööd perekonnanimega „Boldt“ ja esimese tähega „J“. Uuringu autorid palusid igal vestlusrobotil märkida, millised loetletud viidetest on tagasi võetud.
21 vestlusroboti uuring järeldab, et tagasivõetud kirjanduse väljasõelumiseks ei tohiks kasutada suuri keelemudeleid. Vestlusrobotid ei olnud mitte ainult ebausaldusväärsed tagasivõetud artiklite õigel tuvastamisel, vaid andsid ka samade ülesannete korral erinevaid tulemusi.
Lisateave: https://retractionwatch.com/2025/11/19/ai-unreliable-identifying-retracted-research-papers-study/
