Streaming des métriques AWS avec Kinesis firehose.
Le 09/08/2021
AWS
Cloud
2 minutes de lecture
Partage
Streaming des métriques AWS avec Kinesis firehose.
Dans les architectures, de nos jours, on utilise beaucoup de composants techniques pour faire fonctionner un use case, et assurer l’observabilité des ces composants devient très difficile à anticiper, d’où le besoin croissant d’adopter des outils de centralisation des traces et métriques tel que Splunk, Elasticsearch, Datadog ou autres.
Historiser et superviser les métriques des composants est indispensable pour assurer une bonne observabilité.
Sur AWS, Cloud Watch Metrics assure nativement la gestion des métriques des autres services, on peut même en ajouter des métriques spécifiques via une API fournie (put-metric-data https://aws.amazon.com/fr/premiumsupport/knowledge-center/cloudwatch-custom-metrics/). Les consoles de base assurent le monitoring et la création des alertes sur la base de ces métriques.
Mais parfois, on a le besoin de les exporter vers d’autres outils pour des besoins de centralisation et/ou d’analyses poussées.
AWS fournit désormais un moyen pour récupérer les métriques en mode streaming, ce qui offre un avantage considérable par rapport à des appels API initiées par les collecteurs. Le streaming utilise le service Kinesis ce qui permet de configurer des pipelines d’acheminement et de traitement de données à la volée.
Ci-dessous un exemple de base de streaming des métriques Cloud Watch vers un Bucket S3 :
Avec Kinesis firehose, on peut exporter les métriques vers de nombreuses destinations autres que S3, comme Elasticsearch ou Splunk.
Partage
Gardez un oeil sur tout
Recevez des notifications dès la publication d’un nouvel article et restez informé de l’actualité Cloud !
Pour offrir les meilleures expériences, nous utilisons des technologies telles que les cookies pour stocker et/ou accéder aux informations des appareils. Le fait de consentir à ces technologies nous permettra de traiter des données telles que le comportement de navigation ou les ID uniques sur ce site. Le fait de ne pas consentir ou de retirer son consentement peut avoir un effet négatif sur certaines caractéristiques et fonctions.
Fonctionnel
Toujours activé
L’accès ou le stockage technique est strictement nécessaire dans la finalité d’intérêt légitime de permettre l’utilisation d’un service spécifique explicitement demandé par l’abonné ou l’utilisateur, ou dans le seul but d’effectuer la transmission d’une communication sur un réseau de communications électroniques.
Préférences
L’accès ou le stockage technique est nécessaire dans la finalité d’intérêt légitime de stocker des préférences qui ne sont pas demandées par l’abonné ou l’internaute.
Statistiques
Le stockage ou l’accès technique qui est utilisé exclusivement à des fins statistiques.Le stockage ou l’accès technique qui est utilisé exclusivement dans des finalités statistiques anonymes. En l’absence d’une assignation à comparaître, d’une conformité volontaire de la part de votre fournisseur d’accès à internet ou d’enregistrements supplémentaires provenant d’une tierce partie, les informations stockées ou extraites à cette seule fin ne peuvent généralement pas être utilisées pour vous identifier.
Marketing
L’accès ou le stockage technique est nécessaire pour créer des profils d’internautes afin d’envoyer des publicités, ou pour suivre l’utilisateur sur un site web ou sur plusieurs sites web ayant des finalités marketing similaires.