„Džiaugiamės galėdami savo sukurtu kalbos modeliu prisidėti prie atvirojo kodo bendruomenės Lietuvoje ir užsienyje. Suteikdami šiam modeliui laisvą prieigą, siekiame užtikrinti, kad lietuvių kalba būtų lygiaverčiai atstovaujama dirbtinio intelekto pasaulyje. Tikimės, kad šis modelis įkvėps inovatyvios programinės įrangos kūrimą bei paskatins mokslinę plėtrą natūralios kalbos apdorojimo srityje“, – sako „Neurotechnology“ natūralios kalbos apdorojimo (NKA) skyriaus techninis vadovas Artūras Nakvosas.
Bendrovės didysis kalbos modelis buvo sukurtas remiantis LlamaV2 7 ir 13 milijardų parametrų transformerių architektūra. Šiam modeliui apmokyti jo kūrėjai pasitelkė tekstyną, kurį sudarė daugiau nei 14 mlrd. teksto vienetų lietuvių kalba.
Siekdama paspartinti mokymo procesą, įmonė pasitelkė NVIDIA H100 grafinius procesorius, laikomus vienais galingiausių pasaulyje. Bendrovės atlikti lyginamosios analizės rezultatai parodė, kad kompanijos sukurtas modelis daugelyje sričių lenkia „Llama V2“ ir gali būti naudojamas kaip pagrindas kurti įvairius dirbtinio intelekto sprendimus lietuvių kalba.
„Pristatytas lietuvių kalbos modelis buvo vertinamas keliais lyginamaisiais testais. Be to, šis modelis yra visiškai atviras, todėl jį galima efektyviai naudoti tiek komercinėms, tiek akademinėms reikmėms“, – pažymi bendrovės mašininio mokymosi mokslininkas dr. Povilas Daniušis.
Įmonės komandos atliktas tyrimas yra laisvai prieinamas arXiv archyve, o atvirojo kodo modeliai bei duomenų rinkiniai yra pasiekiami Hugging Face platformoje. Dalindamasi šiuo įrankiu bendrovė nori paskatinti kitus kūrėjus tęsti tyrimus su didžiaisiais kalbos modeliais Baltijos, Skandinavijos ir Rytų Europos regionuose. Ateityje įmonė planuoja toliau tobulinti lietuvių kalbos modelius ir siekti didesnio palaikymo kitoms šių regionų kalboms.
Lietuvos bendrovės sukurti NKA sprendimai apima virtualius pokalbių robotus, darbo rinkos analizės įrankį „NetGeist HR“ , finansų rinkos stebėjimo platformą „StockGeist“ bei mobiliųjų programėlių atsiliepimų įrankį „NetGeist App“.
