Kako smo zgradili monitoring sistem za sodobno cestninjenje

Sistem za cestninjenje predstavlja kompleksno mrežo aplikacij, ki neprestano komunicirajo med seboj. Vsi zahtevki, odgovori in dogodki v aplikacijah puščajo sledi, ki jih je potrebno v realnem času zajeti, shraniti in smiselno prikazati. To je bil izziv, ki smo ga reševali skupaj s stranko iz panoge cestninjenja.

Ko sistem preraste samega sebe

Stranka je uporabljala monitoring sistem, ki smo ga postavili pred približno desetimi leti. In zakaj stari sistem ni več zadostoval? Iskanje po starejših podatkih je postalo omejeno, tudi zaradi količine podatkov, zato npr. zapisi, starejši od dveh mesecev, niso bili več neposredno dostopni in so zahtevali poseg v arhive. Ob večjih obremenitvah se je stabilnost sistema opazno zmanjšala, retencija podatkov za eno leto ali več, ki jo zahtevajo tako operativa kot regulatorji, pa je postala prevelik izziv.

Čeprav je bila zasnova dobro postavljena (sistem je deloval 10 let!) in je sistem dobro služil svojemu času, je tehnologija napredovala. In prav zato se nismo posluževali popravkov ampak smo izvedli temeljito prenovo.

Arhitektura za realnost, ne za idealne pogoje

Naša naloga je bila postaviti sistem za neprekinjeno delovanje, s čimer imamo precej izkušenj tudi iz ostalih panog. Zato nov sistem temelji na Kubernetes infrastrukturi z GitOps pristopom, ki ga upravljamo z Argo CD. Gre za nabor orodij, ki ga danes uporabljamo kot standard pri večini projektov.

Na tej osnovi delujejo ključne komponente:

·      Apache Kafka za zanesljiv zajem in pretok podatkov

·      Elasticsearch za shranjevanje in hitro iskanje

·      Prometheus za spremljanje zdravja sistema

Podatkovna tokova sta dva.

Prvi tok predstavljajo aplikacijski logi, torej zapisi, ki jih ustvarjajo posamezne aplikacije. Drugi tok je integracijski log, ki zajema komunikacijo med sistemi. Vsak zahtevek in vsak odgovor se beleži. Oba tokova potujeta skozi podatkovne cevovode do Elasticsearch, kjer se indeksirata in postaneta takoj dostopna za analizo.

Zakaj visoka razpoložljivost zahteva več kot le redundanco

Ena ključnih zahtev je bila visoka razpoložljivost, saj mora sistem delovati praktično brez prekinitev. Zato smo ga postavili georedundantno na treh lokacijah. Dve sta fizična podatkovna centra, tretja pa virtualizirana lokacija, ki jo je mogoče po potrebi premakniti. Ta postavitev ni naključna.

Kubernetes za stabilno delovanje potrebuje »večinsko soglasje«. Če ena lokacija odpove, preostali dve ohranita sklepčnost in sistem deluje naprej. Pri dveh lokacijah tega ni. Ob izpadu ene se sistem ustavi, ker ni večine. Pri testiranju premika tretje lokacije je bil prehod popolnoma neviden. Sistem je deloval, kot da se ni zgodilo nič.

Pri testiranju izpada ene lokacije je sistem prva tako nemoteno deloval naprej, sicer z okrnjeno kapaciteto, ampak uporabniki izpada niso zaznali. Po priklopu lokacije nazaj v obratovanje je delovanje sistema prešlo nazaj v popolno obratovanje in to brez posega administratorjev.

To je dokaz delovanja takšne arhitekture tudi v praksi.

Kako smo zagotovili sledljivost in nadzor

Sistem danes stranka uporablja za nadzor in analizo delovanja svojih aplikacij. Najpogostejši primer uporabe je odpravljanje težav, saj lahko ekipa hitro poišče vzrok anomalij, preveri reklamacije uporabnikov ali analizira napake v zalednih sistemih. Ker so zahtevki in odgovori shranjeni skupaj ter ustrezno indeksirani, je mogoče v nekaj sekundah sestaviti celotno sliko posameznega dogodka. Jasno je razvidno, kje je prišlo do napake, katera aplikacija je sodelovala in kakšen je bil njen odziv. Sistem ima integrirano tudi fino granulacijo pravic dostopov do podatkov, kar omogoča, da so podatki vidni samo pooblaščenim uporabnikom.

Razlika v primerjavi s prejšnjim sistemom je očitna. Sistem ostaja stabilen tudi ob visokih obremenitvah, iskanje je hitro ne glede na starost podatkov, uporabniški vmesnik pa vključuje prilagojene nadzorne plošče, ki jih operativna ekipa dejansko uporablja. Rešitev, ki smo jo vzpostavili, ni osamljen primer, temveč odraz širšega trenda v panogi cestninjenja. Upravljavci sistemov po svetu vlagajo v rešitve za obdelavo podatkov v realnem času, ki se uporabljajo predvsem za napredno analitiko.

V ospredje prihajajo napredne analitike, kot so zaznavanje goljufij z analizo registrskih tablic in vzorcev vedenja vozil, dinamično prilagajanje cen glede na prometne razmere ter prediktivno vzdrževanje infrastrukture. Skupni imenovalec teh pristopov je zmožnost zanesljivega zajema, shranjevanja in analize velikih količin podatkov v realnem času, brez kompromisov pri razpoložljivosti in varnosti.

Kaj omogoča nova podatkovna infrastruktura?

Vzpostavljena infrastruktura je obenem nadgradnja starega sistema in temelj za prihodnji razvoj. Ko sistem zanesljivo obdeluje podatke v realnem času, se odprejo nova vprašanja. Analiza vzorcev skozi čas, zaznavanje subtilnih anomalij in napovedovanje prometnih tokov postanejo dosegljivi cilji.

In prav to je ključna prednost sodobne podatkovne infrastrukture. Vzpostavili smo sistem, ki deluje tako dobro, da spodbuja tudi drugačen razmislek v načinu dela in pristopih k obdelavi podatkov. Zasnovali smo ga tako, da bo rasel skupaj z ambicijami stranke.