Kolme suurema tehisintellekti (AI) juturobotite uuemate, suuremate versioonide uuring näitab, et need kalduvad pigem valesid vastuseid genereerima kui teadmatust tunnistama. Hindamisel leiti ka, et inimesed ei oska halbu vastuseid hästi märgata.
Palju tähelepanu on pööratud asjaolule, et suured keelemudelid (LLM), mida kasutatakse juturobotite käivitamiseks, teevad mõnikord asju valesti või „hallutsineerivad“ päringutele kummalisi vastuseid. José Hernández-Orallo Hispaanias asuvast Valencia tehisintellekti uurimisinstituudist ja tema kolleegid analüüsisid selliseid vigu, et näha, kuidas need muutuvad, kuna mudelid muutuvad suuremaks - kasutavad rohkem treeningandmeid, hõlmavad rohkem parameetreid või otsustussõlmi ja neelavad rohkem arvutusvõimsust. Nad jälgisid ka seda, kas vigade tõenäosus vastab inimeste arusaamadele küsimuste keerukusest ja kui hästi suudavad inimesed valesid vastuseid tuvastada. Uuring avaldati ajakirjas Nature 25. septembril.
Uurimisrühm leidis, et LLM-i suuremad ja täpsemad versioonid on ootuspäraselt täpsemad, suuresti tänu sellele, et neid on kujundatud peenhäälestusmeetoditega, näiteks inimeste tagasisidest tugevdava õppimisega. See on hea uudis. Kuid nad on vähem usaldusväärsed: kõigi ebatäpsete vastuste hulgas on valede vastuste osakaal suurenenud, teatab uurimisrühm, sest mudelid on vähem tõenäoline, et nad väldivad küsimusele vastamist - näiteks öeldes, et nad ei tea, või vahetades teemat.
„Nad vastavad tänapäeval peaaegu kõigele. Ja see tähendab rohkem õigeid, aga ka rohkem valesid“ vastuseid, ütleb Hernández-Orallo. Teisisõnu on kasvanud vestlusrobotite kalduvus pakkuda arvamusi, mis lähevad kaugemale nende enda teadmistest. „See näeb mulle välja nagu see, mida me nimetaksime bullshittinguks,“ ütleb Mike Hicks, Suurbritannia Glasgow ülikooli teaduse ja tehnoloogia filosoof, kes pakub nähtuse kirjeldamiseks välja termini bullshit2. „See muutub üha paremaks, et teeselda teadmistega.“
Tulemuseks on see, et tavakasutajad tõenäoliselt ülehindavad juturobotite võimeid ja see on ohtlik, ütleb Hernández-Orallo.
Meeskond vaatles kolme LLM-perekonda: OpenAI GPT, Meta LLaMA ja BLOOM, akadeemilise rühma BigScience loodud avatud lähtekoodiga mudel. Kõigi mudelite puhul vaadeldi varaseid, töötlemata versioone ja hilisemaid, täiustatud versioone.
Nad testisid mudeleid tuhandete ülesannetega, mis hõlmasid küsimusi aritmeetika, anagrammide, geograafia ja teaduse kohta, samuti ülesanded, mis testisid robotite võimet muuta teavet, näiteks panna nimekiri tähestikulisse järjekorda. Nad reastasid ka küsimuste inimeste poolt tajutud raskusastme - näiteks Kanada Torontot käsitlev küsimus hinnati kergemaks kui küsimus vähem tuntud ja väiksema linna Akil kohta Mehhikos.
Nagu oodatud, suurenes vastuste täpsus, kui täpsustatud mudelid muutusid suuremaks, ja vähenes, kui küsimused muutusid raskemaks. Ja kuigi mudelite puhul võiks olla mõistlik vältida väga keerulistele küsimustele vastamist, ei leidnud teadlased mingit tugevat suundumust selles suunas. Selle asemel vastasid mõned mudelid, näiteks GPT-4, peaaegu kõigele. Valede vastuste osakaal nende hulgas, mis olid kas valed või mida välditi, kasvas mudelite suurenedes ja jõudis mitme täiustatud mudeli puhul üle 60%.
Töörühm leidis ka, et kõik mudelid said aeg-ajalt isegi lihtsate küsimuste puhul valesti aru, mis tähendab, et ei ole olemas „turvalist tegevuspiirkonda“, kus kasutaja võib vastustes olla väga kindel.
Seejärel palus meeskond inimestel vastuseid järjestada õigeks, valeks või vältivaks. Inimesed klassifitseerisid ebatäpsed vastused üllatavalt sageli - umbes 10% kuni 40% ajast - valesti õigeks nii lihtsate kui ka raskete küsimuste puhul. „Inimesed ei suuda neid mudeleid kontrollida,“ ütleb Hernández-Orallo.
Hernández-Orallo arvab, et arendajad peaksid suurendama tehisintellekti jõudlust lihtsate küsimuste puhul ja julgustama juturobotid keelduma rasketele küsimustele vastamisest, et inimesed saaksid paremini hinnata, millistes olukordades tehisintellektid tõenäoliselt usaldusväärsed on. „Meil on vaja, et inimesed mõistaksid: „Selles valdkonnas võin ma seda kasutada ja selles valdkonnas ei tohiks ma seda kasutada,“ ütleb ta.
Hernández-Orallo ütleb, et juturobotite muutmine keerulistele küsimustele vastamiseks tundub muljetavaldav ja teeb head tulemustabelites, mis reastavad tulemuslikkust, kuid see ei ole alati kasulik. „Ma olen ikka veel väga üllatunud, et mõnede nende mudelite viimased versioonid, sealhulgas o1 OpenAI-st, võite küsida neilt kahe väga pika numbri korrutamist ja saate vastuse, ja vastus on vale,“ ütleb ta. See peaks olema parandatav, lisab ta. „Saate panna lävendi ja kui küsimus on keeruline, [panna juturobot ütlema], et „ei, ma ei tea“.“
„On mõned mudelid, mis ütlevad „ma ei tea“ või „mul on teie küsimusele vastamiseks ebapiisav teave“,“ ütleb Vipula Rawte, Lõuna-Columbia ülikooli arvutiteadlane Vipula Rawte. Kõik tehisintellekti ettevõtted töötavad kõvasti selle nimel, et vähendada hallutsemist, ning konkreetsetel eesmärkidel, näiteks meditsiiniliseks kasutamiseks, välja töötatud juturobotid on mõnikord veelgi täiustatud, et nad ei läheks oma teadmistebaasist kaugemale. Kuid ta lisab, et ettevõtetele, kes üritavad müüa universaalseid juturobotid, „ei ole see midagi, mida te tavaliselt soovite oma klientidele anda“.
