Objectif de niveau de service

Ce que c'est

Un objectif de niveau de service est une cible décrivant le bon
fonctionnement d’un service, formulée assez précisément pour que
chacun puisse vérifier si elle a été atteinte : une proportion de
demandes qui doivent réussir, ou recevoir une réponse assez rapide,
sur une période définie. Il est presque toujours abrégé en SLO. Le
livre Site Reliability Engineering de Google le définit comme une
valeur cible, ou une plage de valeurs, pour un niveau de service
mesuré par un indicateur.

Cet indicateur est l’indicateur de niveau de service, ou SLI : une
quantité définie avec soin pour décrire un aspect du service
réellement reçu par les utilisateurs. La latence des demandes est le
premier choix habituel, suivie de près par le taux d’erreur et le
débit. Le SRE Workbook recommande de formuler chaque SLI comme un
rapport entre événements satisfaisants et ensemble des événements.
Il va ainsi de 0 %, où rien ne fonctionne, à 100 %, où rien n’est
défaillant. L’objectif trace ensuite une limite sur cette échelle :
l’indicateur doit rester du bon côté d’une cible, ou entre une borne
inférieure et une borne supérieure.

Un objectif complet nomme tout ce qui permet de le vérifier.
L’exemple du livre est le suivant : 99 % des appels RPC Get se
terminent en moins de 100 ms, cette proportion étant moyennée sur
une minute et mesurée sur l’ensemble des serveurs backend. Un
indicateur peut porter plusieurs cibles à la fois, par exemple 90 %
des appels en moins de 1 ms, 99 % en moins de 10 ms et 99,9 % en
moins de 100 ms, car un seul percentile décrit rarement toute une
distribution. Le Workbook distingue aussi la spécification, le
résultat qui compte pour l’utilisateur, de l’implémentation,
l’endroit où il est mesuré : un journal serveur, une sonde qui
exécute un navigateur ou du code dans la page. Chacun voit des
défaillances différentes, et ce choix doit figurer dans la
définition.

Un SLO n’est pas un SLA. Un accord de niveau de service est un
contrat avec les utilisateurs, explicite ou implicite, qui associe
des conséquences au respect ou non des objectifs qu’il contient, le
plus visiblement une remise ou une pénalité. Le test proposé par le
livre consiste à demander ce qui arrive si l’objectif n’est pas
atteint : si aucune conséquence explicite ne suit, il s’agit d’un
SLO. Une note ajoute que ceux qui parlent d’un SLA violé désignent
presque toujours un SLO manqué, car une véritable violation d’un SLA
peut conduire au tribunal pour rupture de contrat. Google Search,
précise le livre, n’a pas de SLA destiné au public, mais une panne
lui coûte malgré tout en réputation et en recettes publicitaires.

Pourquoi c'est important

Sans objectif formulé, les utilisateurs inventent le leur. Le livre
SRE décrit les deux conséquences possibles : des personnes font plus
confiance au service qu’elles ne le devraient, tandis que des
utilisateurs potentiels le croient moins fiable qu’il ne l’est et
s’en détournent. Il prend l’exemple de Chubby, le service de
verrouillage distribué de Google. Ses pannes globales étaient si
rares que d’autres services en sont venus à dépendre de son absence
de panne sans que cette dépendance attire l’attention. Ces services
défaillaient lors des rares pannes. La réponse a été de faire
respecter son SLO à l’instance globale sans le dépasser de
beaucoup : chaque trimestre où les pannes réelles n’avaient pas fait
passer la disponibilité sous la cible, les SRE arrêtaient
volontairement le système.

L’objectif tranche aussi la question de la fiabilité suffisante.
« Une fiabilité de 100 % est la mauvaise cible », écrit le SRE
Workbook, pour des raisons pratiques. Les composants peuvent tomber
en panne en même temps, quelle que soit leur conception. La chaîne
de réseaux et d’appareils entre le service et ses clients peut aussi
échouer : les clients ne verraient donc jamais les 100 %. Chaque
chiffre neuf supplémentaire coûte plus cher que le précédent, alors
que sa valeur pour les utilisateurs tend vers zéro. Comme le
changement est la principale cause d’indisponibilité, un service qui
ne doit jamais tomber en panne ne peut pas non plus être mis à jour.
Une fois la cible inférieure à 100 %, l’écart avec la perfection
devient une marge à dépenser en livraisons, expériences et
maintenance planifiée : le budget d’erreur, tout simplement 100 %
moins le SLO. Quelqu’un doit être responsable de cet arbitrage entre
livrer des fonctionnalités et rester disponible. Le Workbook désigne
le directeur technique, ou CTO, dans une petite organisation, et le
product owner ou le responsable produit dans une plus grande.

Enfin, l’objectif transforme la supervision en décisions. Le livre
décrit une boucle : mesurer les indicateurs, les comparer aux
objectifs, décider s’il faut agir et le faire. Si la latence
augmente et doit franchir la limite dans quelques heures, l’équipe
vérifie si les serveurs sont limités par le processeur et en ajoute.
Sans objectif, souligne le livre, personne ne peut dire s’il faut
agir, ni quand.

À quoi cela ressemble en pratique

Prenons une API de passage en caisse et un objectif formulé comme le
suggère le Workbook : la description de l’indicateur est séparée de
celle du lieu de mesure, la fenêtre est précisée et la justification
est consignée à côté :

```text
Service :         API de passage en caisse
SLI :             part des requêtes POST /checkout dont la réponse n’a pas
                  de statut 5xx, comptée dans le journal des requêtes du serveur
Objectif :        99.9% sur une fenêtre glissante de 28 jours
Justification :   quatre semaines d’observation, valeur arrondie à la baisse
Responsable :     responsable produit, avec les ingénieurs d’astreinte
Révision :        mensuelle jusqu’à stabilisation, puis trimestrielle
```

La fenêtre compte autant que le pourcentage. Le Workbook préfère une
fenêtre glissante à un mois civil, car les utilisateurs n’oublient
pas une panne survenue le dernier jour du mois lorsque le suivant
commence. Il privilégie aussi un nombre entier de semaines, pour que
chaque fenêtre contienne le même nombre de week-ends ; une fenêtre
de quatre semaines est son choix pour les usages courants. Cette
fenêtre fait 28 × 24 × 60 = 40 320 minutes, dont 0,1 % représente un
peu plus de 40 minutes d’arrêt complet. Sur un mois de 30 jours, les
mêmes 99,9 % autorisent 43,2 minutes, chiffre figurant dans le
tableau de disponibilité du livre.

Le temps reste toutefois la façon la moins fine de compter. Le livre
SRE explique que Google mesure la disponibilité par le taux de
réussite des demandes plutôt que par le temps de fonctionnement, car
un service réparti dans le monde est rarement entièrement en service
ou entièrement arrêté. En nombre de demandes, l’exemple du Workbook
est le suivant : à 99,9 %, 3 millions de demandes sur quatre
semaines laissent une marge de 3 000 échecs, et une panne qui en
provoque 1 500 consomme la moitié du budget. Compter les demandes
donne aussi un coût aux défaillances partielles que le temps de
fonctionnement ne voit pas. À trafic constant, 20 minutes où la
moitié des demandes échouent coûtent autant que 10 minutes d’arrêt
total, soit environ un quart du budget sur 28 jours.

Dans Prometheus, avec un compteur de demandes étiqueté par statut,
l’indicateur sur la fenêtre est un simple rapport, construit sur le
modèle de l’exemple du Workbook :

```promql
sum(rate(http_requests_total{job="checkout", status!~"5.."}[28d]))
  /
sum(rate(http_requests_total{job="checkout"}[28d]))
```

Sur ce site, la page niveaux de service se situe du côté des
accords. Pour un système exploité par l’entreprise pour le compte
d’un client, le temps de réponse à un incident, les horaires
couverts, la disponibilité exigée et les fenêtres de maintenance
sont écrits dans l’accord propre au système. Ils sont définis
système par système, car un rapport nocturne et un service de
paiement appellent des réponses différentes. Le dispositif de suivi
des erreurs et de traçage internes, construit par la fondatrice dans
le cadre de son activité actuelle au sein de NextMariner, est
présenté dans un ensemble de vues d’exploitation, dont une consacrée
aux objectifs de niveau de service. La note sur la vente du dernier
billet une seule fois transforme quant à elle un invariant de stock
en objectif : le vérifier à intervalles planifiés, le tracer et
déclencher une alerte d’astreinte à toute dérive. Zéro survente
devient ainsi un objectif assorti d’une alerte, plutôt qu’un espoir.

Où les problèmes surviennent

La cible est copiée du tableau de bord du mois dernier. Adopter ce
que le système atteint aujourd’hui semble prudent, mais le livre SRE
avertit qu’une cible choisie sans réflexion peut condamner une
équipe à des efforts héroïques pour continuer à l’atteindre, sur un
système qui ne peut s’améliorer sans refonte. Partez des besoins des
utilisateurs et écrivez le raisonnement près du chiffre. Le Workbook
demande la justification et précise qu’il faut indiquer si les
valeurs viennent d’expériences ou d’observations, même lorsqu’il
s’agit explicitement de valeurs ad hoc. Réexaminez le document
chaque mois au début, puis chaque trimestre une fois stabilisé.

L’objectif est de 100 %, ou une suite de chiffres neuf dont personne
n’a chiffré le coût. Un système toujours disponible, ou capable de
grandir sans limite, est cher à construire et à exploiter, et
dépasse ce que les utilisateurs remarqueraient. Commencez avec une
cible souple et resserrez-la en apprenant à connaître le système. Le
livre préfère cela à une cible stricte qu’il faudrait ensuite
assouplir parce qu’elle s’est révélée hors d’atteinte.

Une moyenne remplace ce que ressentent les utilisateurs. Dans
l’exemple du livre, une demande habituelle prend environ 50 ms,
tandis que 5 % des demandes prennent vingt fois ce temps. Pourtant,
le graphique de la moyenne ne montre rien de particulier de toute la
journée. Écrivez les objectifs de latence sous forme de percentiles,
ou de proportion de demandes sous un seuil comme 300 ms, jamais sous
forme de moyenne.

Personne ne peut défendre autant d’objectifs. Une douzaine de SLO
par service les dilue tous. Le test du livre est direct : si citer
un objectif ne peut jamais faire gagner une discussion sur les
priorités, il ne mérite probablement pas d’exister. Gardez les
quelques objectifs qui couvrent les usages réels.

Manquer l’objectif ne change rien. Le Workbook appelle cela un SLO
sans effet : le respect de l’objectif devient un KPI supplémentaire
dans un rapport, plutôt qu’une raison de décider. Convenez à
l’avance de ce qui arrive lorsque le budget est épuisé, et faites
signer cette politique par le responsable produit, les développeurs
et les SRE. L’exemple de politique de budget d’erreur du Workbook
suspend les changements ordinaires tant que le service ne respecte
plus son objectif. Il n’autorise alors que les corrections de bugs
les plus prioritaires et les travaux de sécurité, et précise
explicitement que cette politique n’est pas une punition.

Le SLO est le même chiffre que le SLA. Quand l’objectif interne
coïncide avec le contrat, l’équipe n’apprend les difficultés qu’au
moment de la violation. Le livre recommande un objectif interne plus
strict que celui annoncé, pour garder une marge face aux problèmes
chroniques. L’erreur inverse compte aussi : un service qui
fonctionne bien mieux que son objectif apprend aux utilisateurs à
dépendre de cette qualité. Le livre suggère donc des arrêts
planifiés occasionnels, une limitation de débit ou un système qui ne
va pas plus vite à faible charge.

La fenêtre dépasse la durée des données. Un objectif sur 28 jours
calculé sur un serveur Prometheus qui ne garde que 15 jours
d’échantillons, valeur par défaut en l’absence de paramètre de
conservation, ne mesure alors que 15 jours, sans le signaler, tout
en les présentant comme quatre semaines. Réglez la conservation
au-delà de la fenêtre avant de faire confiance au chiffre :

```text
prometheus --storage.tsdb.retention.time=35d
```

Pour aller plus loin

  * Objectifs de niveau de service — Le chapitre 4 du livre Site
Reliability Engineering de Google : indicateurs, objectifs, accords
et choix d’une cible.

  * Mettre en œuvre des SLO — Le chapitre du SRE Workbook sur les
SLI sous forme de rapports, les budgets d’erreur, les fenêtres et la
documentation de l’objectif.

  * Exemple de politique de budget d’erreur — Une politique complète
pour un service de jeu fictif : quand les livraisons s’arrêtent et
qui tranche un désaccord.

  * Accepter le risque — Pourquoi Google mesure la disponibilité par
la réussite des demandes plutôt que par le temps de fonctionnement,
et le coût de chaque palier de fiabilité.

  * Tableau de disponibilité — La durée d’indisponibilité autorisée
par chaque niveau de disponibilité sur une année, un trimestre, un
mois, une semaine, un jour et une heure.

  * Stockage — La conservation des échantillons sur disque dans
Prometheus et les paramètres de rétention qui déterminent jusqu’où
une requête de SLO peut remonter.

hCette page sur le Web	URL:https://engineer.company/fr/glossary/service-level-objective/	engineer.company	70
