# 30 jours de données électriques traités en 180 ms

Conçu des variantes d'agrégation horaire de la consommation électrique en Python, SQL et Bash + Jq ; le benchmark Python a traité un jeu de données JSONL de 30 jours en 180 ms.

2025

**Situation.** L'entreprise traite de grandes quantités de données électriques hétérogènes provenant de plusieurs sources, chacune avec sa fréquence de remontée : des intervalles horaires aux intervalles de 15 minutes, voire des horodatages irréguliers. Cette variabilité complique la constitution d'un jeu de données cohérent et comparable. Pour permettre des analyses énergétiques précises, les données doivent être normalisées en valeurs de consommation horaires homogènes, agrégées par zone.

**Tâche.** L'objectif était de convertir les événements bruts d'un jeu de données historique au format JSONL en chiffres de consommation électrique alignés sur l'heure, avec une ligne par heure et par zone. Il fallait précisément :

- Aligner les données horodatées sur des intervalles horaires stricts,
- Agréger la production totale d'électricité de chaque intervalle en additionnant les valeurs du mix,
- Intégrer les échanges transfrontaliers en ajoutant les importations et en soustrayant les exportations,
- Produire les valeurs finales dans un format structuré et évolutif, adapté aux analyses ultérieures.
- La solution devait également être assez efficace pour de longues périodes (30 jours ou plus) et plusieurs pays ou zones.

**Action.** Trois variantes ont été mises en œuvre avec Python, JQ pour le traitement JSON en ligne de commande, et SQL, chacune optimisée pour un contexte différent :

Python a été retenu pour sa souplesse, sa facilité de manipulation des données et son efficacité pour les transformations en mémoire. Des fonctions Python pures ont servi à construire un pipeline qui :
- Analysait les fichiers JSONL pour les convertir en tableaux de données
- Rééchantillonnait les séries temporelles sur des intervalles horaires
- Agrégeait la production et calculait la consommation électrique nette (production + importations − exportations)
- Exportait les résultats en CSV ou les chargeait dans une base SQLite légère pour inspection.

JQ a permis une solution rapide avec peu de dépendances pour les environnements en ligne de commande, sous forme d'une chaîne de filtres JQ.

Dans PostgreSQL, les données JSONL ont été importées, des tables normalisées créées et une série de requêtes SQL écrite.

Les performances de chaque solution ont été mesurées sur des historiques de 1 jour et de 30 jours.

**Résultat.** L'implémentation Python s'est révélée la plus rapide et la plus adaptée à la montée en charge, avec les temps suivants :

- Traitement de 1 jour de données en seulement 34 ms
- Jeu de données de 30 jours en 180 ms

Ces résultats ont confirmé son adéquation aux périodes plus longues tout en conservant un traitement inférieur à la seconde. Le code était aussi clair, maintenable et facile à étendre à plusieurs zones ou à intégrer dans un pipeline ETL.

L'approche à plusieurs outils a ainsi montré de la souplesse dans leur choix, une optimisation efficace des performances et une prise en charge solide des difficultés d'alignement temporel et d'agrégation des pipelines électriques réels.

---

- Rôle: Ingénieure plateformes et données
- Catégories: [Bases de données](https://engineer.company/fr/categories/databases/), [PostgreSQL](https://engineer.company/fr/categories/postgresql/), [SQL](https://engineer.company/fr/categories/sql/), [Ingénierie des données](https://engineer.company/fr/categories/data-engineering/), [Pipelines de données (ETL/ELT)](https://engineer.company/fr/categories/data-pipelines/), [Analyse de données](https://engineer.company/fr/categories/data-analytics/), [Automatisation et CI/CD](https://engineer.company/fr/categories/automation/), [Optimisation des performances](https://engineer.company/fr/categories/performance/), [Python](https://engineer.company/fr/categories/python/)
- Prestations: [Optimisation des performances de bases de données](https://engineer.company/fr/services/database-performance/), [Développement de pipelines de données (ETL/ELT)](https://engineer.company/fr/services/data-pipeline-development/), [Analyse de données et tableaux de bord BI](https://engineer.company/fr/services/data-analytics-bi/)

<https://engineer.company/fr/portfolio/a-month-of-meter-readings-in-180-milliseconds/>
