Formation elastic machine learning

Cette formation Elastic Machine Learning rend les participants autonomes sur le Machine Learning de la Suite Elastic : détection d'anomalies non supervisée sur séries temporelles, forecasting, data frame analytics (outlier detection, régression, classification) et AIOps.

Elle couvre le cycle complet — de la définition d'un détecteur à l'exploitation des résultats dans des dashboards et des règles d'alerting — en s'appuyant sur les jeux de données d'exemple Kibana (eCommerce, web logs) et sur des données d'observabilité.

Objectifs pédagogiques

• Situer le ML Elastic dans le paysage supervisé / non supervisé (classification, régression, anomaly detection, outlier detection).
• Évaluer si un jeu de données se prête au ML Elastic (séries temporelles, KPI, colocalisation).
• Configurer un job de détection d'anomalies : détecteur, fonction, champ, influenceurs, bucket span.
• Choisir le bon assistant de job : single-metric, multi-metric, population, advanced, categorization, rare, geo.
• Analyser les résultats via le Single Metric Viewer et l'Anomaly Explorer, et les enrichir (annotations, swimlanes sur dashboards).
• Réaliser un forecasting et gérer les modèles (calendars, scheduled events, model snapshots).
• Transformer des données événementielles en données entité-centriques (pivot, latest) et lancer des data frame analytics.
• Exploiter les AIOps Labs (log rate analysis, log pattern analysis, change point detection).
• Créer des règles d'alerting sur les jobs ML et intégrer les résultats dans Observability et Security.

Jour 1 — Détection d'anomalies (non supervisé, séries temporelles)

Module 1 — Introduction à Elastic Machine Learning

• Le ML dans la Suite Elastic : anomaly detection, forecasting, language identification.
• Taxonomie : supervisé (classification, régression) et non supervisé (anomaly detection, outlier detection).
• Quand appliquer le ML : séries temporelles, KPI critiques, données colocalisées.
• Anomaly detection ET anomaly scoring : les questions types (taux de logs, pics métriques, tentatives d'authentification, ports inhabituels).

Module 2 — Fondamentaux de la détection d'anomalies

• Anatomie d'un job : données historiques + flux temps réel → modèle de comportement normal → anomalies.
• Composants : detector (fonction + champ), fields, influencers.
• Single detector vs multiple detectors.
• Configurer un job single-metric : champ, métrique, bucket span, plage de temps.
• Lab 2.2 : créer un job single-metric et interpréter la première anomalie.

Module 3 — Les assistants de création de job

• Single metric : un seul détecteur.
• Multi-metric : plusieurs détecteurs sur des champs non liés (CPU, event count, transaction duration).
• Population : activité inhabituelle par rapport à une population (outliers).
• Advanced : configuration complète de tous les paramètres.
• Categorization, Rare, Geo : catégories de logs, valeurs rares, anomalies géographiques.
• Validation du job, résumé, démarrage temps réel et jobs ML out-of-the-box.
• Lab 3.2 : jobs prêts à l'emploi + job custom (multi-metric et population).

Module 4 — Analyser et exploiter les résultats

• Single Metric Viewer : courbe Actual vs Expected, bornes 95 %, timeline, sévérité.
• Anomaly Explorer : swimlanes, filtres, liste des anomalies, top influencers.
• Annotations : enrichir les résultats du sens métier ; swimlanes et anomaly charts sur dashboards.
• Forecasting depuis le Single Metric Viewer.
• Calendars & scheduled events, model snapshots et revert.
• Lab 4.3 : analyse, annotations, forecast et swimlane sur dashboard.

Jour 2 — Data Frame Analytics, AIOps et opérationnalisation

Module 5 — Transforms : de l'événement à l'entité

• Pourquoi transformer : passer de données event-centric à entity-centric.
• Pivot (agrégation par entité) et Latest (documents les plus récents par entité).
• Les transforms créent un nouvel index (ne remplacent pas la donnée d'origine).
• Construire un transform : group by, champs à agréger, preview.
• Lab 5.2 : transformer les commandes eCommerce en index customer-centrique.

Module 6 — Data Frame Analytics

• Structures de données : time series → anomaly detection ; data frame → outlier detection, régression, classification.
• Outlier detection (non supervisé) : outlier score de 0 à 1, scatterplots.
• Regression et classification (supervisés) : modèles entraînés et notion d'inference.
• Lab 6.3 : data frame analytics (outlier detection sur l'index customer).

Module 7 — AIOps Labs

• Principe de l'AIOps : automatiser les opérations IT via big data et ML.
• Explain log rate spikes : identifier les raisons d'une hausse du taux de logs.
• Log pattern analysis : motifs dans les logs non structurés (aussi dans Discover).
• Change point detection : spikes, dips, changements de tendance.
• Lab 7.2 : obtenir des insights plus vite avec les AIOps Labs.

Module 8 — Alerting et opérationnalisation du ML

• Règles d'alerting ML : anomaly detection alert (result types Bucket, Record, Influencer ; severity level).
• Anomaly detection jobs health : surveiller la santé des jobs.
• Création de jobs ML depuis Observability (Infrastructure, APM).
• Détection d'anomalies dans le Detection Engine de Security.
• Lab 8.2 : créer une règle d'alerting sur un job d'anomaly detection.

Mathieu ELIE assure votre cours. Avec plus de 110 formations données sur les technos elastic, votre formateur passe aussi 50% de son temps en production en tant que consultant elk et elastic stack . Vous avez donc un formateur qui a aussi l'experience de la production.

En savoir plus sur le formateur .