Microservizi - Monitoraggio

Microservizi - Monitoraggio

Costruzione di una "Dashboard" di monitoraggio di un sistema software con componenti a microservizi e non. Gestione dei log.

Introduzione

Sempre nel contesto delle architetture a microservizi, ma anche in un contesto più generale di applicazioni distribuite risulta necessario avere e/o fornire all'utente un pannello di controllo o Dashboard. Può essere orientata a fornire dati di sintesi come "numero di processi completati con successo" e "numero di processi completati con insuccesso" ma anche a avere informazioni tecniche sul funzionamento delle componenti del sistema. Ultimo, ma non ultimo, avere uno storico di queste informazioni. Essendo, le architetture a microservizi, parcellizzate per natura in tante componenti avere uno strumento che consenta una visione d'insieme è indispensabile anche per capire dove intervenire in caso di anomalie.

Dashboard

Vogliamo aggregare e rappresentare sinteticamente i dati provenienti da svariate sorgenti. Il meccanismo migliore per raccogliere informazioni in una architettura a componenti come quella che stiamo costruendo è mediante i log.

A questo punto esistono due tipi di scenari da gestire: il primo è dato dalle applicazioni sviluppate da noi stessi. In questo caso possiamo decidere come e quando scrivere log in modo da poter rispondere in maniera adeguata ad una serie di domande. Ad esempio: quante elaborazioni, svolte da uno specifico microservizio, sono andate a buon fine ? Quante in errore ? Ecc. Il secondo scenario è dato dalle app di terze parti, che possono girare dentro la nostra infrastruttura ma anche fuori. Di queste applicazioni bisogna raccogliere i log e sicuramente filtrarli e modificarli perché possano rispondere a domande come quelle precedenti. E poi vanno "inviati" ad uno strumento di raccolta unico, sia per le nostre applicazioni che per quelle di terze parti.

Soluzione proposta

La soluzione proposta si basa su uno stack relativamente recente ma che ha definito un modello di riferimento in questo campo: ELK.
Cioè Elasticserach + Logstash + Kibana. Nello specifico si è partiti dalla "JHipster Console" (progetto git) che al momento della scrittura di questo post usa la versione 6.4 di ELK corredato da altre componenti. Dettaglio delle componenti di questa soluzione:

Elasticsearch : fornisce la storicizzazione dei dati e gli strumenti di ricerca e filtraggio all'interno di questi

Logstash : fornisce un servizio in ascolto per la raccolta dei log, il filtraggio e la trasformazione di questi e l'inserimento in Elasticsearch

Kibana : rappresenta i dati di sintesi letti da Elasticsearch

elasticAlert : fornisce un sistema di messaggistica su eventi

Beats : fornisce l'invio versi Elasticsearch dei log provenienti dalle componenti sviluppate da terze parti delle quali non possimao impostare il logging.

Il progetto git citato prima e lo si è fatto evolvere alla versione di ELK 7.1.0 mediante l'adeguamento di tutte le componenti e impostazioni. Il progetto utilizzato per la console qui esposta è questo:

DashboardConsole

Quest'opera è distribuita con Licenza Creative Commons Attribuzione 4.0 Internazionale (CC BY 4.0) - Condividi allo stesso modo