# Pipeline géographique accéléré de 50 fois

Consigné une accélération de 50 fois d'un pipeline géographique dans les travaux de la fondatrice chez Utiligize, grâce au SQL et à la modélisation sur PostgreSQL, MS SQL et Google Cloud BigQuery.

2022 – 2024

**Situation.** L'organisation subissait des retards importants dans le traitement de grands ensembles de données géographiques, ce qui réduisait l'efficacité des décisions fondées sur les données et du reporting analytique.

**Tâche.** L'objectif était d'optimiser le pipeline de données géographiques pour améliorer ses performances et réduire la durée des traitements, afin de permettre des analyses plus efficaces et en temps réel.

**Action.** Une analyse détaillée de la programmation SQL et de la modélisation existantes sur PostgreSQL, MS SQL et Google Cloud BigQuery a révélé des goulots d'étranglement liés à une indexation inefficace, à des requêtes mal adaptées et à l'absence de contraintes appropriées. Pour y remédier :
- Les modèles ont été repensés pour normaliser les jeux de données critiques, avec du partitionnement pour accélérer la récupération des données.
- Des techniques avancées d'indexation ont été appliquées : index B‑tree et GiST dans PostgreSQL, index filtrés dans MS SQL et clustering dans BigQuery.
- Les requêtes SQL complexes ont été optimisées par refonte des sous‑requêtes, réduction des jointures et ajout de vues matérialisées lorsque c'était pertinent.
- Des contraintes d'intégrité, notamment des clés étrangères et des contraintes de vérification, ont été établies pour préserver la cohérence sans sacrifier les performances.

**Résultat.** Le dossier de réalisations de la fondatrice rapporte une accélération de 50 fois du pipeline géographique dans cette mission. Il s'agit du résultat consigné pour ce projet, pas d'une garantie pour d'autres jeux de données ou systèmes. Le dossier publié ne précise ni le jeu de données du benchmark, ni le matériel, ni la méthode de comparaison.

---

- Rôle: Ingénieure des données
- Catégories: [Bases de données](https://engineer.company/fr/categories/databases/), [PostgreSQL](https://engineer.company/fr/categories/postgresql/), [SQL](https://engineer.company/fr/categories/sql/), [Entrepôts de données](https://engineer.company/fr/categories/data-warehousing/), [Ingénierie des données](https://engineer.company/fr/categories/data-engineering/), [Pipelines de données (ETL/ELT)](https://engineer.company/fr/categories/data-pipelines/), [Gouvernance des données](https://engineer.company/fr/categories/data-governance/), [Optimisation des performances](https://engineer.company/fr/categories/performance/), [GIS et données géospatiales](https://engineer.company/fr/categories/gis/)
- Prestations: [Solutions GIS et géospatiales](https://engineer.company/fr/services/gis-geospatial/), [Optimisation des performances de bases de données](https://engineer.company/fr/services/database-performance/), [Développement de pipelines de données (ETL/ELT)](https://engineer.company/fr/services/data-pipeline-development/), [Conception d'entrepôts de données](https://engineer.company/fr/services/data-warehousing/), [Préparation des données à l'IA](https://engineer.company/fr/services/ai-data/)

<https://engineer.company/fr/portfolio/made-a-geographical-data-pipeline-50x-faster/>
