Arvuti- ja teadusringkondade platvormide Hugging Face ja alphaXiv korraldatud hackathon tõstatas ambitsioonika küsimuse: kas tehisintellekti agendid suudavad teadustöid kontrollida ulatuses, mis inimretsensentidele on üha enam võimatu?
Võistlus oli seni suurim katse kasutada tehisintellekti suurte tehniliste konverentside raames esitatud artiklite kordamiseks. Paljud osalejad ei ole hariduse poolest tehisintellekti eksperdid. Sellest hoolimata tegelesid nad kokku enam kui 2000 artikliga – ja avastasid sadu tulemusi, mida tehisintellekti agendid ei suutnud kordada või mille puhul leiti, et neid ei toeta tõendid. Seni on hackathoni korraldajad kinnitanud, et vähemalt tosin artiklit sisaldab tõelisi vigu, mida konverentsi inimretsensendid ei märganud.
Viimastel aastatel on infotehnoloogia konverentsidel esitatud tööde arv plahvatuslikult kasvanud. Sel aastal võttis masinõppe konverents (ICML) vastu umbes 6000 artiklit, peaaegu kaks korda rohkem kui eelmisel aastal. Inimretsensentide arv aga ei ole ligilähedaseltki nii kiiresti kasvanud – see tasakaalustamatus on viinud vastastikuse hindamise süsteemi peaaegu murdepunktini. Kas tehisintellekt saab vastastikust hindamist aidata, on ägeda arutelu teema, kuna protsess nõuab sageli otsuseid uudsuse või olulisuse kohta.