Dirbtinio intelekto kūrėjai bando pagerinti LLM galią dviem pagrindiniais būdais: didindami jų mastą, t. y. suteikdami jiems daugiau mokymosi duomenų ir didesnę skaičiavimo galią, ir formuodami arba tikslindami juos pagal žmogaus atsiliepimus.
José Hernández-Orallo iš Valensijos politechnikos universiteto (Ispanija) su kolegomis nagrinėjo LLM veiklos rezultatus, kai jis didėjo ir formavosi. Jie nagrinėjo „OpenAI GPT“ serijos pokalbių robotus, „Meta LLaMA“ dirbtinio intelekto modelius ir „BLOOM“, kurį sukūrė tyrėjų grupė „BigScience“.
Tyrėjai išbandė dirbtinius intelektinius robotus pateikdami penkių tipų užduotis: aritmetinius uždavinius, anagramų sprendimą, geografinius klausimus, mokslinius iššūkius ir informacijos ištraukimą iš neorganizuotų sąrašų.
Jie nustatė, kad didinant mastelio dydį ir formuojant modelį, LLM gali geriau atsakyti į sudėtingus klausimus – pavyzdžiui, pertvarkyti anagramą „yoiirtsrphaepmdhray“ į „hyperparathyroidism“. Tačiau tai nepadeda geriau išspręsti pagrindinių klausimų, tokių kaip „ką gausite sudėjus 24427 ir 7120“, kuriuos LLM ir toliau sprendžia neteisingai.
Nors jų rezultatai sprendžiant sudėtingus klausimus gerėjo, tikimybė, kad dirbtinio intelekto sistema vengs atsakyti į kurį nors vieną klausimą, nes negalės, sumažėjo. Dėl to padidėjo neteisingo atsakymo tikimybė.
Pasak Hernández-Orallo, šie rezultatai rodo, kad dirbtinį intelektą negalima laikyti visažiniu, kaip dažnai daro jo kūrėjai, o kai kurie vartotojai yra pasirengę tuo patikėti. „Mes pernelyg pasikliauname šiomis sistemomis, – sako jis. – Pasikliauname jomis ir pasitikime jomis labiau, nei turėtume.“
Tai yra problema, nes dirbtinio intelekto modeliai nėra sąžiningi dėl savo žinių apimties. „Dalis to, kas daro žmones itin protingus, yra tai, kad kartais nesuvokiame, jog nežinome kažko, ko nežinome, tačiau, palyginti su didžiaisiais kalbos modeliais, mums gana gerai sekasi tai suvokti, – sako Oksfordo universiteto mokslininkė Carissa Véliz. – Didieji kalbos modeliai nežino savo žinių ribų“.
Tyrimas paskelbtas žurnale „Nature“.
Parengta pagal „New Scientist“.
