# 30 días de datos eléctricos en 180 ms

Desarrollé variantes de agregación horaria del consumo eléctrico en Python, SQL y Bash + Jq, con una prueba en Python que procesó un conjunto JSONL de 30 días en 180 ms.

2025

**Situación.** La empresa procesa grandes volúmenes de datos eléctricos heterogéneos procedentes de varias fuentes, cada una con una frecuencia de comunicación distinta: desde intervalos horarios hasta intervalos de 15 minutos y, en algunos casos, marcas temporales irregulares. Esa variabilidad dificulta la creación de un conjunto de datos coherente y comparable. Para realizar análisis energéticos precisos, es necesario normalizar los datos en valores de consumo horario consistentes, agregados por zona.

**Tarea.** El objetivo era transformar eventos sin procesar de un conjunto de datos histórico en formato JSONL en cifras de consumo eléctrico alineadas por horas, con una fila por hora y zona. La tarea comprendía, en concreto:

- Alinear los datos con marca temporal a intervalos horarios estrictos.
- Agregar la producción eléctrica total de cada intervalo sumando los valores de la combinación de fuentes.
- Incorporar los intercambios transfronterizos sumando importaciones y restando exportaciones.
- Producir los valores finales en un formato estructurado y escalable, adecuado para análisis posteriores.
- La solución también debía ser suficientemente eficiente para cubrir periodos largos, de 30 días o más, y varios países o zonas.

**Acción.** Para abordar la tarea se implementaron tres variantes con Python, JQ — para procesar JSON en la línea de órdenes — y SQL, optimizadas para contextos distintos:

Se eligió Python por su flexibilidad, facilidad para manipular datos y capacidad para realizar transformaciones en memoria de forma eficiente. Con funciones de Python puro se construyó un flujo de procesamiento que:
- Analizaba los archivos JSONL y los convertía en estructuras tabulares.
- Remuestreaba las series temporales en intervalos horarios.
- Agregaba la producción y calculaba el consumo eléctrico neto (producción + importaciones − exportaciones).
- Exportaba los resultados a CSV o los cargaba en una base SQLite ligera para inspeccionarlos.

JQ permitió crear una solución rápida y con pocas dependencias para entornos de línea de órdenes mediante una cadena de filtros JQ.

En PostgreSQL se importaron los datos JSONL, se crearon tablas normalizadas y se escribió una serie de consultas SQL.

Para evaluar el rendimiento, se compararon las soluciones con conjuntos históricos de 1 día y de 30 días.

**Resultado.** La implementación Python resultó la más rápida y escalable, con estos tiempos:

- Procesamiento de 1 día en solo 34 ms.
- Procesamiento de 30 días en 180 ms.

Esto confirmó su idoneidad para periodos más largos manteniendo tiempos inferiores a un segundo. Además, el código era claro y fácil de mantener, ampliar al procesamiento de varias zonas o integrar en un flujo ETL.

En conjunto, el enfoque con varias herramientas demostró flexibilidad en su elección, una optimización eficaz del rendimiento y un tratamiento sólido de los problemas de alineación temporal y agregación en flujos de datos eléctricos reales.

---

- Función: Ingeniera de plataformas y datos
- Categorías: [Bases de datos](https://engineer.company/es/categories/databases/), [PostgreSQL](https://engineer.company/es/categories/postgresql/), [SQL](https://engineer.company/es/categories/sql/), [Ingeniería de datos](https://engineer.company/es/categories/data-engineering/), [Flujos de datos (ETL/ELT)](https://engineer.company/es/categories/data-pipelines/), [Análisis de datos](https://engineer.company/es/categories/data-analytics/), [Automatización y CI/CD](https://engineer.company/es/categories/automation/), [Optimización del rendimiento](https://engineer.company/es/categories/performance/), [Python](https://engineer.company/es/categories/python/)
- Servicios: [Optimización del rendimiento de bases de datos](https://engineer.company/es/services/database-performance/), [Desarrollo de flujos de datos (ETL/ELT)](https://engineer.company/es/services/data-pipeline-development/), [Análisis de datos y paneles de BI](https://engineer.company/es/services/data-analytics-bi/)

<https://engineer.company/es/portfolio/a-month-of-meter-readings-in-180-milliseconds/>
