Aller au contenu
Engineer
Menu
Design
Français

Engineer / Glossaire

Supervision

Suivi d’un système actif pour être alerté avant ses usagers

Ce que c’est

La supervision est la lecture continue de ce qu’un système en fonctionnement rapporte sur lui-même : un dispositif compare sans cesse ces rapports aux limites fixées et décide quand une personne doit être avertie. Le livre Site Reliability Engineering de Google la définit comme la collecte, le traitement, l’agrégation et l’affichage, en temps réel, de données quantitatives sur un système : combien de requêtes arrivent et de quels types, combien échouent et comment, combien de temps elles prennent et depuis quand chaque serveur fonctionne. Le but est que les événements se produisent dans cet ordre : le système signale un problème avant qu’un utilisateur ne le fasse.

Les données viennent de deux directions. La supervision en boîte blanche lit ce qu’un système expose de son fonctionnement interne, comme un point d’accès aux métriques, une longueur de file ou un nombre de nouvelles tentatives : elle peut voir les difficultés se former avant qu’elles ne soient ressenties. La supervision en boîte noire reste à l’extérieur et agit comme un utilisateur : elle demande une page, résout un nom ou se connecte à un compte, puis indique si l’opération a réussi et sa durée. Elle ne voit que ce qui est déjà en panne, ce qui en fait une raison fiable de réveiller quelqu’un.

Un système de supervision conserve surtout des nombres échantillonnés dans le temps : ils coûtent peu à stocker et se comparent facilement à un seuil. Le même chapitre du livre SRE en désigne quatre comme point de départ de tout service destiné aux utilisateurs : la latence, durée d’une requête ; le trafic, quantité de demandes reçues ; les erreurs, proportion de requêtes échouées ; et la saturation, proximité du remplissage de la ressource la plus sollicitée.

Ces nombres alimentent deux sorties. Un tableau de bord sert à regarder, quand quelqu’un soupçonne déjà un problème. Une alerte sert à interrompre, quand tout le monde s’occupe d’autre chose. Dans l’écosystème Prometheus, le serveur évalue les règles et Alertmanager regroupe, déduplique et achemine les alertes déclenchées.

Deux notions voisines se confondent facilement avec la supervision. La journalisation consigne les événements individuels, une ligne par fait survenu : c’est ce qu’on lit après une alerte pour comprendre pourquoi. L’observabilité, telle que la présente OpenTelemetry, est la capacité plus large de poser de nouvelles questions à un système depuis l’extérieur. La supervision est une pratique plus ancienne et plus étroite : questions décidées à l’avance, posées continuellement, dont une réponse peut déclencher une alerte d’astreinte.

Pourquoi c’est important

L’alternative consiste à être informé des problèmes par les personnes qui en souffrent, à l’heure où elles les remarquent. La supervision avance ce moment et confie l’information à quelqu’un capable d’agir.

La ressource rare est l’attention plutôt que le logiciel. Une alerte interrompt le travail le jour et le sommeil la nuit ; le livre SRE décrit sans détour la suite quand elles sont trop fréquentes : les destinataires les survolent, doutent de leur bien-fondé puis les ignorent, parfois avec la vraie alerte noyée dans le bruit. Le conseil du projet Prometheus tient en une phrase : « gardez un système d’alerte simple, alertez sur les symptômes, disposez de bonnes consoles pour localiser les causes et évitez les alertes d’astreinte sans action à entreprendre ». Chaque règle capable de réveiller quelqu’un promet qu’à son déclenchement, cette personne aura une action urgente à mener.

La décision centrale porte donc sur ce que ressentent les utilisateurs. Un disque rempli à 85 % est une cause ; un parcours de commande qui échoue est un symptôme. Alerter sur les symptômes limite le nombre de règles : les façons de nuire aux utilisateurs sont bien moins nombreuses que les dysfonctionnements possibles des machines. Les causes gardent leur place dans les tableaux de bord et tickets, où elles aident au diagnostic sans réveiller personne. La capacité est l’exception justifiée : une ressource presque pleine ne nuit à personne aujourd’hui, mais nécessitera bientôt une intervention.

Vient ensuite le choix entre exploiter le dispositif et le louer. L’exploiter demande un stockage de séries temporelles, un routeur d’alertes et quelqu’un pour maintenir les deux en état. Un service hébergé retire ce travail et facture le volume envoyé : chaque nouvel hôte apparaît sur une facture. Le livre SRE note que, même chez Google, une équipe de 10 à 12 ingénieurs en compte généralement un ou deux dont la supervision est l’activité principale. Dans les deux cas, c’est un système à entretenir, à dimensionner pour celui qu’il surveille.

À quoi cela ressemble en pratique

Deux postes antérieurs de la fondatrice et l’hôte propre à l’entreprise illustrent la même idée à des échelles très différentes.

De 2015 à 2022, dans un rôle d’ingénierie d’infrastructure, le travail comprenait l’assistance 24 h/24 et 7 j/7 pour environ 1 000 serveurs de diffusion IPTV/OTT, ainsi qu’un bon nombre de systèmes appartenant aux clients, pour des clients en Chine, aux États-Unis et en Allemagne. Avec trois fuseaux horaires, aucune heure n’était calme : un problème à 3 h du matin localement survenait en pleine heure de grande écoute ailleurs. Une grande part du travail consistait à remarquer une dérive avant la panne ; les problèmes étaient traités avant d’atteindre l’écran d’un spectateur. Pour un tel service, la réussite ressemble à une absence d’événements : la supervision permet de le savoir plutôt que de l’espérer.

Dans un rôle d’ingénierie de bases de données de 2022 à 2024, sur 100 bases PostgreSQL, MS SQL et BigQuery, la supervision automatisée a réduit les indisponibilités de 50 %.

Superviser l’hôte des services de l’entreprise accessibles au public revient à travailler à l’autre extrémité de l’échelle. Une seule machine de 512 Mo héberge ces services accessibles au public, avec environ 464 Mo utilisables ; la mémoire est l’argument qui tranche chaque choix de conception. Les rapports y sont tirés à la demande, plutôt que produits par un agent, un pipeline et un tableau de bord : sept commandes lisent l’hôte et génèrent du Markdown, ne changent rien et ne s’exécutent que sur demande. La décision sur le service onion illustre la méthode : une fois la question posée, l’hôte a été échantillonné pendant une journée et les mesures ont tranché. Dans ces échantillons consignés, le minimum de mémoire disponible était d’environ 310 Mo sur 464, le swap restait à 2,6 % et le processeur était inactif 99,7 % du temps. À cette taille, superviser consiste à mesurer au moment où une décision en a besoin.

Où les problèmes surviennent

Les alertes d’astreinte sont si fréquentes qu’on cesse de les lire. Chaque incident laisse une règle, beaucoup réagissent à des causes qui disparaissent seules et, en quelques mois, la vraie alerte est survolée avec les autres. N’alertez l’astreinte que sur ce que les utilisateurs remarqueraient, à un seul endroit de la pile, et envoyez le reste vers une file de tickets ou un tableau de bord. Exigez ensuite que la condition persiste avant le déclenchement : une perturbation résolue en une minute ne réveillera personne :

groups:
    - name: checkout
      rules:
          - alert: CheckoutErrorsHigh
            expr: job:checkout_errors:ratio5m > 0.02
            for: 10m
            labels:
                severity: page

La supervision s’arrête et son silence passe pour une bonne nouvelle. Une règle qui ne se déclenche jamais ressemble exactement à un système qui ne tombe jamais en panne. Si le serveur Prometheus, Alertmanager ou le relais de messagerie s’arrête, toutes les alertes cessent à la fois. Prometheus conseille de superviser la supervision elle-même et, mieux encore, de tester toute la chaîne de bout en bout : un contrôle prouve alors qu’une alerte peut aller de la règle à la boîte de réception. Les tâches planifiées ont le même piège : une sauvegarde qui ne s’exécute plus ne produit aucune erreur, elle cesse simplement de laisser des traces. Alertez l’astreinte quand le dernier succès est trop ancien, en laissant au moins deux exécutions complètes ; pour une tâche d’une heure exécutée toutes les 4 heures, le projet propose 10 heures :

time() - backup_last_success_timestamp_seconds > 10 * 3600

La moyenne dit que tout va bien pendant que certains utilisateurs attendent. Les moyennes se tracent facilement et masquent la traîne. Le livre SRE prend un service à 100 ms en moyenne et 1 000 requêtes par seconde, où 1 % des requêtes peuvent aisément prendre 5 secondes ; lorsqu’une page dépend de plusieurs services de ce type, le 99e percentile d’un backend peut devenir la médiane du frontend. Les échecs rapides aggravent le problème, car une erreur rapide abaisse la moyenne. Enregistrez la latence par tranches, alertez sur un percentile élevé et suivez les requêtes échouées séparément des réussites.

Tous les nombres internes sont au vert alors que les utilisateurs ne peuvent joindre le service. Les métriques en boîte blanche viennent de l’intérieur et partagent donc les angles morts du système : certificat expiré, enregistrement DNS défectueux ou modification du pare-feu peuvent les laisser toutes en bonne santé. Un contrôle en boîte noire depuis une machine extérieure au réseau du système détecte ce qui reste autrement invisible et continue de fonctionner quand la supervision interne tombe avec le reste.

Pour aller plus loin

  • Prometheus : présentation — ce que recueille un système de supervision par métriques, ses composants et les cas où la précision par événement exige autre chose.
  • Alertes — les conseils de Prometheus sur les motifs d’alerte d’astreinte, des services en ligne et traitements par lots à la supervision de la supervision.
  • Alertmanager — déduplication, regroupement, mise en silence, inhibition et acheminement des alertes vers un destinataire.
  • Superviser des systèmes distribués — chapitre 6 du livre Site Reliability Engineering de Google : symptômes et causes, quatre signaux clés et traîne.
  • Introduction à l’observabilité — présentation OpenTelemetry des signaux, SLI et SLO, et de ce que l’observabilité apporte au-delà de la supervision.

Contact

Vous cherchez encore à préciser vos besoins ?

Dites-nous ce qui ne fonctionne pas ou ce que vous essayez de construire. Nous vous dirons ce que cela demanderait, son coût approximatif et si nous sommes les bonnes personnes pour le réaliser.

À partir de 1 400 DKK de l'heure, hors TVA — et un tarif horaire réduit pour une réservation plus longue.

welcome@engineer.company +45 50 10 61 84 Copenhague, Danemark