V prejšnjem zapisu smo predstavili našo rešitev GamayunAI, ki s pomočjo strojnega učenja pomaga predvidevati izpade in izboljšati splošno učinkovitost omrežja. Predstavili smo tudi možnosti uporabe na drugih področjih, kot je energetska infrastruktura.

Glavni izziv, na katerega smo naleteli pri razvoju rešitve GamayunAI, je bilo nagovoriti zapletenost sistemov, v katerih se število komponent povečuje, nekateri elementi ostajajo zastareli, medsebojna odvisnost posameznih pa le še doda k neobvladljivosti situacije.

Končna rešitev je delujoča platforma GamayunAI, ki omogoča pridobivanje, transformiranje, shranjevanje in prikaz podatkov oziroma dogodkov ter zagotavlja vpogled v delovanje informacijskega sistema. Poglejmo si, kako deluje.

Delovanje platforme GamayunAI in njenih gradnikov

Na spodnji sliki je prikazana GamayunAI platforma, plasti od leve proti desni pa prikazujejo prehajanje podatkov (ang. events) čez platformo. Na levi strani vidimo platformo za pretok podatkov, ki jih generirajo različne naprave in aplikacije, dogodki pa nato preko storitvene plasti prehajajo v GamayunAI platformo. Preko različnih cevovovod podatki potujejo proti plasti za shranjevanje, kjer postanejo na voljo za uporabo pri strojnem učenju. Kot je razvidno iz slike, podatki za strojno učenje prihajajo iz podatkovne shrambe in iz plasti za prenos podatkov, kar nam omogoča evalvacijo podatkov v realnem času, istočasno pa še učenje na živih in arhivskih podatkih. Zadnja plast so namenske vizualizacije ter obvestila o zaznanih nepravilnostih v delovanju platforme.

Za razvoj GamayunAI platforme smo izbrali odprtokodne komponente, ki imajo široko podporo skupnosti, so odporne na napake in omogočajo razširljivost. Za vhod v GamayunAI platformo smo izbrali odprtokodno platformo za pretakanje podatkov Kafka, ki ima vgrajene številne mehanizme za zagotavljanje odpornosti na napake. Omogoča nam tudi enostavno razširitev toka podatkov, ko se za to pojavi potreba. Za podatkovno jezero smo izbrali ElasticSearch oziroma OpenSearch, ki je distribuirana in visoko skalabilna podatkovna shramba za hitro iskanje in analizo podatkov. Zadnjo plast platforme pa predstavlja aplikacija GamayunEvents, katere namen je na enostaven in pregleden način predstaviti zajete podatke, po njih iskati in jih analizirati.

Strojno učenje, KYS in arhitektura sistema

Celotna GamayunAI platforma je nastala za namen strojnega učenja, saj zbrane podatke iz različnih virov preko Kafke pripravimo za učenje modelov. Obogateni in v realnem času prečiščeni podatki so ključni za omogočeno iskanje po podatkih in njihovo uporabo za strojno učenje. Ker imamo z GamayunAI platformo podatke enostavno dostopne in v uporabni obliki, se zmanjša čas priprave in evalvacije modela, kar pomeni prihranek denarja in časa, ki ga lahko porabimo za reševanje drugih problemov.

Omenili smo zapletenost sistema in odvisnosti med posameznimi komponentami, ki vplivajo na nedelovanje sistema. Kadar pridemo v situacijo, kjer del našega sistema ne deluje, vendar ne vemo zakaj, si moramo postaviti vprašanje, kako dobro podjetje pozna svoj sistem in odvisnosti med komponentami? Izraz, ki ga za to uporabljamo, je KYS oziroma “Know Your System”. GamayunKYS poskrbi za prikaz arhitekture ekosistema in prikaz komunikacije med aplikacijami. Prikaz nam omogoča vpogled v večnivojske potencialne odvisnosti, lahko tudi znotraj izbranega obdobja. Ključna prednost pa je seveda prikaz zaznanih napak na sistemu.

Definicije procedur, kritična pot in predikcija

Definicijo procedure bi lahko opisali kot zaporedje korakov ali aktivnosti, ki se izvedejo ob akciji uporabnika ali sistema, torej gre za postopek, ki se izvede ob eni sproženi akciji. Lahko gre za enostavno komunikacijo med dvema aplikacijama, lahko pa je večnivojska in vključuje več aplikacij. Primer bi bil nakup prek spleta, kjer klik uporabnika sproži vrsto zaporednih korakov in aktivnosti med aplikacijami, da je nakup opravljen. Opredelitev definicij procedur je nujno za poznavanje kritične poti, ki postane kritična v trenutku, ko se na poti pojavi zaplet. Brez jasnega pregleda bi bilo odkrivanje kritičnih poti v realnem času nemogoče. GamayunAI pa gre še korak dlje, saj poskuša v realnem času napovedati, da se bo kritična pot zgodila, kar nam omogoča, da jo preprečimo. Kadar govorimo o preprečevanju izpadov na kritični infratrukturi, je takšen sistem nepogrešljiv.

Prišli smo do konca in ugotovili, da je GamayunAI kompleksna, vendar dobro utečena in pregledna platforma, ki s pomočjo algoritmov strojnega učenja predvidi izpade in izboljša splošno učinkovitost delovanja sistema. Kljub mnogim izzivom smo z razvojem GamayunAI platforme znova pokazali, da z veliko raziskovanja, pravimi pristopi in dobro ekipo praktično ni problema, ki ga ne bi bilo mogoče rešiti.