Supervision

Ce que c'est

La supervision est la lecture continue de ce qu’un système en
fonctionnement rapporte sur lui-même : un dispositif compare sans
cesse ces rapports aux limites fixées et décide quand une personne
doit être avertie. Le livre Site Reliability Engineering de Google
la définit comme la collecte, le traitement, l’agrégation et
l’affichage, en temps réel, de données quantitatives sur un
système : combien de requêtes arrivent et de quels types, combien
échouent et comment, combien de temps elles prennent et depuis quand
chaque serveur fonctionne. Le but est que les événements se
produisent dans cet ordre : le système signale un problème avant
qu’un utilisateur ne le fasse.

Les données viennent de deux directions. La supervision en boîte
blanche lit ce qu’un système expose de son fonctionnement interne,
comme un point d’accès aux métriques, une longueur de file ou un
nombre de nouvelles tentatives : elle peut voir les difficultés se
former avant qu’elles ne soient ressenties. La supervision en boîte
noire reste à l’extérieur et agit comme un utilisateur : elle
demande une page, résout un nom ou se connecte à un compte, puis
indique si l’opération a réussi et sa durée. Elle ne voit que ce qui
est déjà en panne, ce qui en fait une raison fiable de réveiller
quelqu’un.

Un système de supervision conserve surtout des nombres
échantillonnés dans le temps : ils coûtent peu à stocker et se
comparent facilement à un seuil. Le même chapitre du livre SRE en
désigne quatre comme point de départ de tout service destiné aux
utilisateurs : la latence, durée d’une requête ; le trafic, quantité
de demandes reçues ; les erreurs, proportion de requêtes échouées ;
et la saturation, proximité du remplissage de la ressource la plus
sollicitée.

Ces nombres alimentent deux sorties. Un tableau de bord sert à
regarder, quand quelqu’un soupçonne déjà un problème. Une alerte
sert à interrompre, quand tout le monde s’occupe d’autre chose. Dans
l’écosystème Prometheus, le serveur évalue les règles et
Alertmanager regroupe, déduplique et achemine les alertes
déclenchées.

Deux notions voisines se confondent facilement avec la supervision.
La journalisation consigne les événements individuels, une ligne par
fait survenu : c’est ce qu’on lit après une alerte pour comprendre
pourquoi. L’observabilité, telle que la présente OpenTelemetry, est
la capacité plus large de poser de nouvelles questions à un système
depuis l’extérieur. La supervision est une pratique plus ancienne et
plus étroite : questions décidées à l’avance, posées
continuellement, dont une réponse peut déclencher une alerte
d’astreinte.

Pourquoi c'est important

L’alternative consiste à être informé des problèmes par les
personnes qui en souffrent, à l’heure où elles les remarquent. La
supervision avance ce moment et confie l’information à quelqu’un
capable d’agir.

La ressource rare est l’attention plutôt que le logiciel. Une alerte
interrompt le travail le jour et le sommeil la nuit ; le livre SRE
décrit sans détour la suite quand elles sont trop fréquentes : les
destinataires les survolent, doutent de leur bien-fondé puis les
ignorent, parfois avec la vraie alerte noyée dans le bruit. Le
conseil du projet Prometheus tient en une phrase : « gardez un
système d’alerte simple, alertez sur les symptômes, disposez de
bonnes consoles pour localiser les causes et évitez les alertes
d’astreinte sans action à entreprendre ». Chaque règle capable de
réveiller quelqu’un promet qu’à son déclenchement, cette personne
aura une action urgente à mener.

La décision centrale porte donc sur ce que ressentent les
utilisateurs. Un disque rempli à 85 % est une cause ; un parcours de
commande qui échoue est un symptôme. Alerter sur les symptômes
limite le nombre de règles : les façons de nuire aux utilisateurs
sont bien moins nombreuses que les dysfonctionnements possibles des
machines. Les causes gardent leur place dans les tableaux de bord et
tickets, où elles aident au diagnostic sans réveiller personne. La
capacité est l’exception justifiée : une ressource presque pleine ne
nuit à personne aujourd’hui, mais nécessitera bientôt une
intervention.

Vient ensuite le choix entre exploiter le dispositif et le louer.
L’exploiter demande un stockage de séries temporelles, un routeur
d’alertes et quelqu’un pour maintenir les deux en état. Un service
hébergé retire ce travail et facture le volume envoyé : chaque
nouvel hôte apparaît sur une facture. Le livre SRE note que, même
chez Google, une équipe de 10 à 12 ingénieurs en compte généralement
un ou deux dont la supervision est l’activité principale. Dans les
deux cas, c’est un système à entretenir, à dimensionner pour celui
qu’il surveille.

À quoi cela ressemble en pratique

Deux postes antérieurs de la fondatrice et l’hôte propre à
l’entreprise illustrent la même idée à des échelles très
différentes.

De 2015 à 2022, dans un rôle d’ingénierie d’infrastructure, le
travail comprenait l’assistance 24 h/24 et 7 j/7 pour environ 1 000
serveurs de diffusion IPTV/OTT, ainsi qu’un bon nombre de systèmes
appartenant aux clients, pour des clients en Chine, aux États-Unis
et en Allemagne. Avec trois fuseaux horaires, aucune heure n’était
calme : un problème à 3 h du matin localement survenait en pleine
heure de grande écoute ailleurs. Une grande part du travail
consistait à remarquer une dérive avant la panne ; les problèmes
étaient traités avant d’atteindre l’écran d’un spectateur. Pour un
tel service, la réussite ressemble à une absence d’événements : la
supervision permet de le savoir plutôt que de l’espérer.

Dans un rôle d’ingénierie de bases de données de 2022 à 2024, sur
100 bases PostgreSQL, MS SQL et BigQuery, la supervision automatisée
a réduit les indisponibilités de 50 %.

Superviser l’hôte des services de l’entreprise accessibles au public
revient à travailler à l’autre extrémité de l’échelle. Une seule
machine de 512 Mo héberge ces services accessibles au public, avec
environ 464 Mo utilisables ; la mémoire est l’argument qui tranche
chaque choix de conception. Les rapports y sont tirés à la demande,
plutôt que produits par un agent, un pipeline et un tableau de
bord : sept commandes lisent l’hôte et génèrent du Markdown, ne
changent rien et ne s’exécutent que sur demande. La décision sur le
service onion illustre la méthode : une fois la question posée,
l’hôte a été échantillonné pendant une journée et les mesures ont
tranché. Dans ces échantillons consignés, le minimum de mémoire
disponible était d’environ 310 Mo sur 464, le swap restait à 2,6 %
et le processeur était inactif 99,7 % du temps. À cette taille,
superviser consiste à mesurer au moment où une décision en a besoin.

Où les problèmes surviennent

Les alertes d’astreinte sont si fréquentes qu’on cesse de les lire.
Chaque incident laisse une règle, beaucoup réagissent à des causes
qui disparaissent seules et, en quelques mois, la vraie alerte est
survolée avec les autres. N’alertez l’astreinte que sur ce que les
utilisateurs remarqueraient, à un seul endroit de la pile, et
envoyez le reste vers une file de tickets ou un tableau de bord.
Exigez ensuite que la condition persiste avant le déclenchement :
une perturbation résolue en une minute ne réveillera personne :

```yaml
groups:
    - name: checkout
      rules:
          - alert: CheckoutErrorsHigh
            expr: job:checkout_errors:ratio5m > 0.02
            for: 10m
            labels:
                severity: page
```

La supervision s’arrête et son silence passe pour une bonne
nouvelle. Une règle qui ne se déclenche jamais ressemble exactement
à un système qui ne tombe jamais en panne. Si le serveur Prometheus,
Alertmanager ou le relais de messagerie s’arrête, toutes les alertes
cessent à la fois. Prometheus conseille de superviser la supervision
elle-même et, mieux encore, de tester toute la chaîne de bout en
bout : un contrôle prouve alors qu’une alerte peut aller de la règle
à la boîte de réception. Les tâches planifiées ont le même piège :
une sauvegarde qui ne s’exécute plus ne produit aucune erreur, elle
cesse simplement de laisser des traces. Alertez l’astreinte quand le
dernier succès est trop ancien, en laissant au moins deux exécutions
complètes ; pour une tâche d’une heure exécutée toutes les 4 heures,
le projet propose 10 heures :

```promql
time() - backup_last_success_timestamp_seconds > 10 * 3600
```

La moyenne dit que tout va bien pendant que certains utilisateurs
attendent. Les moyennes se tracent facilement et masquent la traîne.
Le livre SRE prend un service à 100 ms en moyenne et 1 000 requêtes
par seconde, où 1 % des requêtes peuvent aisément prendre 5
secondes ; lorsqu’une page dépend de plusieurs services de ce type,
le 99e percentile d’un backend peut devenir la médiane du frontend.
Les échecs rapides aggravent le problème, car une erreur rapide
abaisse la moyenne. Enregistrez la latence par tranches, alertez sur
un percentile élevé et suivez les requêtes échouées séparément des
réussites.

Tous les nombres internes sont au vert alors que les utilisateurs ne
peuvent joindre le service. Les métriques en boîte blanche viennent
de l’intérieur et partagent donc les angles morts du système :
certificat expiré, enregistrement DNS défectueux ou modification du
pare-feu peuvent les laisser toutes en bonne santé. Un contrôle en
boîte noire depuis une machine extérieure au réseau du système
détecte ce qui reste autrement invisible et continue de fonctionner
quand la supervision interne tombe avec le reste.

Pour aller plus loin

  * Prometheus : présentation — ce que recueille un système de
supervision par métriques, ses composants et les cas où la précision
par événement exige autre chose.

  * Alertes — les conseils de Prometheus sur les motifs d’alerte
d’astreinte, des services en ligne et traitements par lots à la
supervision de la supervision.

  * Alertmanager — déduplication, regroupement, mise en silence,
inhibition et acheminement des alertes vers un destinataire.

  * Superviser des systèmes distribués — chapitre 6 du livre Site
Reliability Engineering de Google : symptômes et causes, quatre
signaux clés et traîne.

  * Introduction à l’observabilité — présentation OpenTelemetry des
signaux, SLI et SLO, et de ce que l’observabilité apporte au-delà de
la supervision.

hCette page sur le Web	URL:https://engineer.company/fr/glossary/monitoring/	engineer.company	70
