Lietuvių kalba kompiuteriams – brangus riešutėlis

2014 m. rugsėjo 20 d. 17:27
Gediminas Gasiulis
Kompiuteriai ir telefonai jau pramoko anglų kalbą: supranta komandas, gali konspektuoti tekstą, padiktuoti straipsnį ar jį išversti į kitą kalbą. Lietuvių kalba jiems vis dar „tamsus miškas“, nors prošvaisčių matyti. Kada su kompiuterine įranga galėsime bendrauti lietuviškai? Šios srities specialistai mano, kad tokia diena gali išaušti po kelerių metų.
Daugiau nuotraukų (1)
Technikos mokymas suprasti kalbą – kompleksinė užduotis, kurią sprendžia įvairių sričių specialistai. Viena yra išmokyti elektra minantį aparatą garso bangas paversti reikšmę turinčiais simboliais ir žodžiais, visai kas kita – juos sujungti į prasmingus sakinius, kuriuos dar reikia interpretuoti, suprasti prasmę, pateikti atsakymą...
Todėl ir visas šias problemas sprendžia įvairių sričių specialistai, tobulinantys ir šlifuojantys įvairiausius aspektus, kurie gali turėti įtakos mechaninio poligloto gebėjimams.
Kompiuterius lietuviškai prakalbinti bandantys mokslininkai gali tik pavydžiai žiūrėti į užsienio korporacijų kūrinius, tokius kaip „Apple Siri“, „Google Now“ ar „Microsoft Cortana“. Tačiau lietuviai nepraranda optimizmo: ateityje su technika bus galima pabendrauti ir lietuviškai.
Kliūtys: tartis, tarmė ir „nukąstos“ galūnės
Norint, kad kompiuteris suprastų šnekamąją kalbą, pirmiausia jį reikia išmokyti atpažinti garso bangas ir paversti jas raidėmis, žodžiais ar simboliais. Tuo užsiimantys Vilniaus universiteto (VU) docentas Vytautas Rudžionis ir Vytauto Didžiojo universiteto (VDU) profesorius Gailius Raškinis pastebi, kad didžiausia problema yra nevienodas garsų, žodžių tarimas.
Net tas pats žmogus niekada neištars to paties žodžio identiškai: jie skirsis garso lygiu, atskirų fonetinių vienetų trukme, aukštumu, kitais parametrais. Dar labiau skiriasi žodžiai, pasakyti dviejų žmonių – kitokie ne tik jų balsai, bet ir tartis, kalbėjimo manieros, tarmė... Be to, žmonės retai taria frazes ir žodžius gramatiškai taisyklingai: dažnai „nukandamos“ galūnės, naudojami neteisingi kirčiai.
V.Rudžionis kaip pavyzdį pateikia skaičių 45. Nejau sakysite „keturiasdešimt penki“? Ko gero, ne: taupydamas laiką dažnas jį sutrumpins ir, pavyzdžiui, sakys „kem penki“ ar „kešim penki“.
„Jeigu žmonėms tai nėra didelė problema, kompiuteriui tai jau gali būti neįveikiama užduotis. Mes naudojamės šnekamąja kalba ir neįsivaizduojame, koks sudėtingas fizinis procesas yra ta šneka, kuria mes taip lengvai naudojamės“, – sako V.Rudžionis.
Tai sukelia rimtų problemų, mat vietoje paprasto ir efektyvaus statistinio klasifikavimo algoritmo, kuris atpažintų vienodai aprašytus objektus, tenka įtraukti kur kas daugiau kintamųjų, nustatyti ir įvertinti menkiausius garsų pokyčius.
Antrasis uždavinys – sudaryti kalbos modelį. „Tai yra žinios, kokie sakiniai nagrinėjamoje kalboje yra gramatiški ir kokie – nelabai. Kalbos modelis gali pataisyti akustinio modelio klaidas ir padidinti šnekos atpažinimo tikslumą. Pavyzdžiui, akustiniam modeliui, kuris sprendžia apie garso įrašo turinį tik remdamasis garsų etalonais, gali atrodyti, kad kalbėtojas pasakė „jis džiaugiasi savo darbo“, tuo tarpu kalbos modelis gali sakinį pataisyti: „Jis džiaugiasi savo darbu.“ Tai skamba labai panašiai, tačiau atitinka kalbos gramatiką“, – aiškino G.Raškinis.
Ne draugas, o darbininkas
Ko reikia norint sukurti kokybišką garsų atpažinimo įrankį? Pirmiausia, patyrusios tyrėjų ir programuotojų komandos, daug kalbos pavyzdžių (t.y. garsyną), rimtą investuotoją ir kantrybės. Pastarojo dalyko dar gali tekti paskolinti ir investuotojui.
Anglų, ispanų ir kitų plačiai naudojamų kalbų atpažinimo įrankius kuriančių mokslininkų situacija visais atžvilgiais geresnė. Dėl to ir jų sukurti įrankiai jau taikomi praktiškai. Tiesa, ir jiems dar yra kur tobulėti.
Didžiųjų užsienio korporacijų sukurti atpažinimo produktai gali teisingai atsakyti į daug klausimų, užduodamų įvairiausiais anglų kalbos dialektais, medikai gali diktuoti ligos istorijas, teisėjai balsu įrašo nutartis... Vis dėlto V.Rudžionis pastebi, kad pasišnekėti su kompiuteriu, kaip su žmogumi, dar neįmanoma.
„Žmonių bendravimas pasižymi tokia įvairove, kad neatmestina prielaida, jog kompiuteris niekuomet neprilygs žmogui. Galų gale, to gal ir nereikia: kompiuteris yra kompiuteris, o žmogus yra žmogus. Kompiuteris kaip techninis įtaisas yra naudingiausias tada, kad padeda žmogui atlikti nemalonius mums darbus, o ne pakeičia mus ten, kur mes ir patys noriai dalyvaujame“, – sako jis.
O kaip lietuvių kalba? Anot mokslininkų, yra sukurtos kelios sistemos, galinčios atpažinti konkrečios srities lietuviškus žodžius ar terminus, suprasti tam tikras komandas. G.Raškinis užsimena, kad VDU turi prototipą, kuris gali atpažinti daugiau nei milijoną lietuvių kalbos žodžių, tačiau jis daro daugiau nei 20 proc. klaidų. Toks tikslumas per mažas komerciniams taikymams.
Visgi pašnekovai pabrėžia, kad kompiuterius „išmokyti“ atpažinti lietuvių kalbos žodžius techniškai nėra sudėtingiau nei anglų kalbos – abiem atvejais kyla panašūs iššūkiai, skiriasi tik pajėgumai ir galimybės. Techniškai lengviausia „kompiuterizuoti“ būtų tokią kalbą, kuri yra mažiausiai natūrali, labiausiai suvaržyta ir turi mažiausiai išraiškos galimybių (pvz., esperanto).
V.Rudžionis Lietuvoje pasigenda didesnio tiek valstybės institucijų, tiek verslo subjektų suinteresuotumo, veiksmų koordinavimo. „Vaizdžiai tariant, visi – tiek valstybės institucijos, tiek verslo subjektai – norėtų lietuviškų atpažinimo paslaugų, bet visi norėtų, kad už sukūrimą mokėtų kas nors kitas“, – sakė VU docentas.
Iššūkis – suprasti, ko nori žmogus
Net jei turėtume įrankį, kuris tiksliai atpažįsta lietuviškai tariamus žodžius, frazes ir sakinius, vien to neužtektų: kompiuterį ar telefoną dar reikia išmokyti visa tai tinkamai interpretuoti.
Iki šiol žmonės kompiuteriams komandas pateikdavo naudodami formalias programavimo kalbas, kuriomis duodamos vienareikšmiškos komandos. Korektiškai jas naudojant, kompiuteriai atlieka tai, ko mes iš jų norime.
Natūrali kalba – visai kas kita. VDU Kompiuterinės lingvistikos centro vadovas Andrius Utka aiškina, kad teksto reikšmę kompiuterinės programos nustato atlikdamos semantinę teksto analizę. Ji dažniausiai remiasi ontologijomis, kuriose kalbos elementai (žodžiai, junginiai, pavadinimai) yra sutvarkyti hierarchiškai pagal reikšmę.
Atlikdamos semantinę teksto analizę programos naudoja ontologijoje esančias žinias ir taip „supranta“ tekstą. Tiesa, tų žinių teisingas interpretavimas yra nemažas tolimesnis iššūkis kompiuterinėms programoms.
Bene svarbiausią rolę atlieka reikšminiai žodžiai (raktažodžiai): žinodamas, kurie žodžiai sakinyje yra kertiniai, kompiuteris supranta ir jo esmę. „Sukurta nemažai metodų, leidžiančių automatiškai sudaryti raktažodžių sąrašą. Šiuo požiūriu jų vieta sakinyje ir linksniai nėra tokie svarbūs, todėl dažniausiai stengiamasi pervesti visus teksto raktažodžius į antraštines formas, kitaip sakant, tekstas yra lemuojamas“, – teigė A.Utka.
Anot jo, „ištraukti informaciją“ iš lietuvių kalbos teksto yra gerokai sudėtingiau nei iš angliško. Lietuvių kalba yra fleksinė kalba (sintetinė), pasižymi labai dideliu formų skaičiumi ir laisva žodžių tvarka sakinyje. Tuo tarpu anglų kalba yra analitinė, kur ta pati reikšmė yra išgaunama atitinkamais žodžių junginiais ir vartojant griežtą sakinio struktūrą.
VDU Informatikos fakulteto profesorius ir Baltijos pažangių technologijų instituto IT skyriaus vadovas Tomas Krilavičius priduria, kad šnekamojoje kalboje svarbu ne tik linksniai ir žodžių vieta, bet net kableliai. Paprastas pavyzdys – „bausti negalima pasigailėti“: skyryba lemia ir jo reikšmę.
„Idealiai kompiuteriai mūsų niekada nesupras, nes, tikriausiai, mes ir patys savęs iki galo nesuprantame, o tuo labiau vieni kitų. Bet ir dabar kompiuteriai neblogai supranta kai kuriuos mūsų klausimus, ypač specifinėse temose, anglų kalba. Tik kol kas nelabai aišku, kaip kompiuteris galėtų atpažinti sarkazmą, frazeologizmus (pvz., nepjauk grybo, pakratė kojas), sėkmingai apjungti įvairiais kanalais ateinančią informaciją“, – sakė T.Krilavičius.
Kada kompiuteriai ir telefonai lietuvių kalbą supras bent jau tokiu lygiu, kaip šiuo metu „Siri“ supranta angliškai? Mokslininkai svarsto, kad to galima tikėtis jau po 3 ar 5 metų, bet tik su sąlyga, kad užsienio korporacijos leis adaptuoti savo sprendimus lietuvių kalbai. Antraip lietuviško „Siri“ varianto gali tekti palūkėti bent dešimtmetį.
Plačiau šiomis temomis bus diskutuojama 6-oje Tarptautinėje konferencijoje, Kalbos technologijos – Baltijos šalių požiūris, kuri vyks rugsėjo 26-27 dienomis, Kaune.
KompiuteriaiKompiuterisKalba
Rodyti daugiau žymių

UAB „Lrytas“,
A. Goštauto g. 12A, LT-01108, Vilnius.

Įm. kodas: 300781534
Įregistruota LR įmonių registre, registro tvarkytojas:
Valstybės įmonė Registrų centras

lrytas.lt redakcija news@lrytas.lt
Pranešimai apie techninius nesklandumus pagalba@lrytas.lt

Atsisiųskite mobiliąją lrytas.lt programėlę

Apple App StoreGoogle Play Store

Sekite mus:

Visos teisės saugomos. © 2024 UAB „Lrytas“. Kopijuoti, dauginti, platinti galima tik gavus raštišką UAB „Lrytas“ sutikimą.