Model GaMS - prispevek k jezikovni suverenosti

Del festivala Reaktor je bilo tudi predavanje jezikoslovca dr. Simona Kreka o umetni inteligenci in slovenščini, ki je v petek zvečer potekalo v Valvasorjevi knjižnici Krško.

Festival Reaktor v izhodišču povezuje bogato jezikovno in kulturno-zgodovinsko dediščino našega prostora, zlasti zapuščino dveh velikih  krških protestantov Adama Bohoriča in Jurija Dalmatina, s sodobno umetnostjo, ustvarjalnostjo in aktualnimi družbenimi vprašanji. Med njimi so tudi izzivi razvoja in ohranjanja slovenskega jezika v digitalnem svetu in v času umetne inteligence, je v uvodnem nagovoru dejala direktorica knjižnice Urška Lobnikar Paunović. Enega od odgovorov ponuja tudi razvoj modela GaMS, prvega odprtokodnega velikega generativnega modela za slovenščino, pri katerem je sodeloval dr. Simon Krek, jezikoslovec in eden vodilnih strokovnjakov za razvoj slovenščine v digitalnem okolju ter ključni povezovalec med jezikoslovjem in sodobnimi tehnologijami v Sloveniji.
 
Predavatelj je povedal, da je jezikovni model GaMS (vrsta umetne inteligence, ki omogoča obdelavo, razumevanje in ustvarjanje besedil) nastal v okviru projekta PoVejMo, ki je potekal od leta 2023 do letos, njegova predzgodba pa sega 30 let nazaj oz. v leto 1996, ko so se začeli sistematično zbirati podatki o slovenskem jeziku, brez katerih modela ni možno narediti. Zasnovan je na Googlovih modelih Gemma2 in 3, ki so jih 'doučili' s specifičnimi podatki, konkretno o slovenščini. Kot je poudaril Krek, gre za bistveno manjši model, kot so veliki modeli ameriških in kitajskih podjetij, v primerjavi z njimi pa dosega razmeroma visok odstotek uspešnosti. Kljub temu se je treba zavedati, da kvalitete največjih modelov ne bo mogel nikoli doseči. 

GaMS je na voljo kot klepetalnik na spletni strani povejmo.si, hkrati pa je dostopen tudi kot odprtokodni model na platformi Hugging Face. 

Po njegovem mnenju je jezikovni modeli za slovenščino pomemben predvsem z vidika omogočanja digitalne suverenosti in razvojne neodvisnosti na področju jezikovnih tehnologij. Če takšnega modela nimamo, smo veliko bolj ranljivi na področju občutljivih varnostnih, osebnih, zdravstvenih in podobnih podatkov, kar je možno na različne načine izkoristiti. »Pri tem je ključna stvar, da se Evropa zgane in naredi velik model, ki bo primerljiv z ameriškimi in kitajskimi, saj tega ne more narediti nobena država sama zase, kaj šele Slovenija,« je poudaril Krek.
 
Da se model lahko razvija, potrebuje dostop do podatkov, pri čemer pa imajo težave, je povedal Krek. Nimajo namreč dostopa do podatkovnih virov javne radio-televizije, ki jih želi tržiti, v NUK-u je večina gradiva v tiskani obliki oz. ni digitalizirano, pri gradivu Arhiva RS je težava glede osebnih podatkov oz. bi ga morali anonimizirati … Dejstvo, da je slovenščina zelo pregiben in tudi precej normiran jezik, se pri razvoju modela zaenkrat ni pokazalo kot težava oz. generira zelo lepo slovenščino. Projekt, v okviru katerega je nastal model, se je zaključil, zato iščejo možnosti njegovega nadaljnjega financiranja, tako na državni kot tudi na evropski ravni.
 
Nosilec festivala Reaktor je bil Kulturni dom Krško, sodelovali pa so še Valvasorjeva knjižnica Krško, krška izpostava Javnega sklada za kulturne dejavnosti ter Center za podjetništvo in turizem Krško.
 
Dogodek je potekal tudi v okviru (sicer kar trimesečnega) Meseca znanosti, ki ga že enajstič organizira Ministrstvo za visoko šolstvo, znanost in inovacije, krška knjižnica pa se mu je priključila prvič.
 
P. P.