Visa „EmbeddingGemma 2“ versija turi 740 mln. parametrų, tačiau architektūra – modulinė: jei reikia tik teksto, galima naudoti mažesnę dalį. „Google“ nurodo, kad kvantuota teksto versija „Pixel 11 Pro“ telefone gali veikti naudodama apie 191 MB aktyviosios RAM, o pilna multimodalinė versija – apie 567 MB.
Modelis paskelbtas su komercine „Apache 2.0“ licencija. Technines detales „Google“ pateikia oficialiame pristatyme.
Ką toks modelis gali daryti telefone
„EmbeddingGemma 2“ nėra pokalbių robotas kaip „Gemini“ ar „ChatGPT“. Jo užduotis – skirtingą informaciją paversti skaitinėmis reprezentacijomis, kad sistema galėtų suprasti semantinį panašumą.
Susiję straipsniai
Praktiškai tai leidžia, pavyzdžiui, parašyti „rask vaizdo įrašą, kuriame šuo bėga per sniegą“ ir ieškoti ne pagal failo pavadinimą, o pagal patį turinį. Taip pat galima balsu apibūdinti norimą vaizdo įrašo momentą, ieškoti panašios nuotraukos arba indeksuoti dokumentus bei kodą.
Svarbiausia, kad visa tai gali vykti lokaliai. Failų nereikia siųsti į debesį vien tam, kad būtų sukurtas paieškos indeksas. Tai sumažina delsą, gali veikti be interneto ir suteikia daugiau privatumo.
Kodėl vietinis DI tampa vis svarbesnis
Dideli modeliai paprastai veikia duomenų centruose, nes jiems reikia daug atminties ir skaičiavimo galios. Tačiau ne kiekvienai užduočiai reikia šimtų milijardų parametrų. Paieškai, klasifikavimui ar duomenų suradimui mažesnis specializuotas modelis gali būti greitesnis ir pigesnis.
„Google“ teigia, kad „EmbeddingGemma 2“ palaiko iki 8000 žetonų kontekstą ir gali vienu metu apdoroti įvairių formatų duomenis. Modelis taip pat sukurtas taip, kad jo sugeneruojamus vektorius būtų galima sutrumpinti, sumažinant vietinės duomenų bazės dydį.
Tai svarbu mobilioms programėlėms: kūrėjai gali kurti išmanesnę nuotraukų, garso, dokumentų ar vaizdo įrašų paiešką nesiųsdami viso vartotojo turinio į serverį.
Ilgainiui tokie modeliai gali tapti nematoma telefono dalimi. Vartotojas nebūtinai žinos, kad naudojamas „EmbeddingGemma“, tačiau jo galerija, dokumentų paieška ar asmeninis DI asistentas galės daug geriau suprasti vietinius failus – ir tai atlikti pačiame įrenginyje.