30 días de datos eléctricos en 180 ms
Desarrollé variantes de agregación horaria del consumo eléctrico en
Python, SQL y Bash + Jq, con una prueba en Python que procesó un
conjunto JSONL de 30 días en 180 ms.
2025

Situación. La empresa procesa grandes volúmenes de datos eléctricos
heterogéneos procedentes de varias fuentes, cada una con una
frecuencia de comunicación distinta: desde intervalos horarios hasta
intervalos de 15 minutos y, en algunos casos, marcas temporales
irregulares. Esa variabilidad dificulta la creación de un conjunto
de datos coherente y comparable. Para realizar análisis energéticos
precisos, es necesario normalizar los datos en valores de consumo
horario consistentes, agregados por zona.

Tarea. El objetivo era transformar eventos sin procesar de un
conjunto de datos histórico en formato JSONL en cifras de consumo
eléctrico alineadas por horas, con una fila por hora y zona. La
tarea comprendía, en concreto:

  * Alinear los datos con marca temporal a intervalos horarios
estrictos.

  * Agregar la producción eléctrica total de cada intervalo sumando
los valores de la combinación de fuentes.

  * Incorporar los intercambios transfronterizos sumando
importaciones y restando exportaciones.

  * Producir los valores finales en un formato estructurado y
escalable, adecuado para análisis posteriores.

  * La solución también debía ser suficientemente eficiente para
cubrir periodos largos, de 30 días o más, y varios países o zonas.

Acción. Para abordar la tarea se implementaron tres variantes con
Python, JQ — para procesar JSON en la línea de órdenes — y SQL,
optimizadas para contextos distintos:

Se eligió Python por su flexibilidad, facilidad para manipular datos
y capacidad para realizar transformaciones en memoria de forma
eficiente. Con funciones de Python puro se construyó un flujo de
procesamiento que:

  * Analizaba los archivos JSONL y los convertía en estructuras
tabulares.

  * Remuestreaba las series temporales en intervalos horarios.

  * Agregaba la producción y calculaba el consumo eléctrico neto
(producción + importaciones − exportaciones).

  * Exportaba los resultados a CSV o los cargaba en una base SQLite
ligera para inspeccionarlos.

JQ permitió crear una solución rápida y con pocas dependencias para
entornos de línea de órdenes mediante una cadena de filtros JQ.

En PostgreSQL se importaron los datos JSONL, se crearon tablas
normalizadas y se escribió una serie de consultas SQL.

Para evaluar el rendimiento, se compararon las soluciones con
conjuntos históricos de 1 día y de 30 días.

Resultado. La implementación Python resultó la más rápida y
escalable, con estos tiempos:

  * Procesamiento de 1 día en solo 34 ms.

  * Procesamiento de 30 días en 180 ms.

Esto confirmó su idoneidad para periodos más largos manteniendo
tiempos inferiores a un segundo. Además, el código era claro y fácil
de mantener, ampliar al procesamiento de varias zonas o integrar en
un flujo ETL.

En conjunto, el enfoque con varias herramientas demostró
flexibilidad en su elección, una optimización eficaz del rendimiento
y un tratamiento sólido de los problemas de alineación temporal y
agregación en flujos de datos eléctricos reales.

Categorías:
1Bases de datos	/es/categories/databases/	engineer.company	70
1PostgreSQL	/es/categories/postgresql/	engineer.company	70
1SQL	/es/categories/sql/	engineer.company	70
1Ingeniería de datos	/es/categories/data-engineering/	engineer.company	70
1Flujos de datos (ETL/ELT)	/es/categories/data-pipelines/	engineer.company	70
1Análisis de datos	/es/categories/data-analytics/	engineer.company	70
1Automatización y CI/CD	/es/categories/automation/	engineer.company	70
1Optimización del rendimiento	/es/categories/performance/	engineer.company	70
1Python	/es/categories/python/	engineer.company	70

Servicios:
1Optimización del rendimiento de bases de datos	/es/services/database-performance/	engineer.company	70
1Desarrollo de flujos de datos (ETL/ELT)	/es/services/data-pipeline-development/	engineer.company	70
1Análisis de datos y paneles de BI	/es/services/data-analytics-bi/	engineer.company	70

hEsta página en la web	URL:https://engineer.company/es/portfolio/a-month-of-meter-readings-in-180-milliseconds/	engineer.company	70
