{"canonical_url":"https://engineer.company/uk/portfolio/a-month-of-meter-readings-in-180-milliseconds/","content_markdown":"# 30 днів даних про електроенергію за 180 мс\n\nРозробила варіанти погодинної агрегації споживання електроенергії на Python, SQL і Bash + Jq; під час вимірювання Python обробив один 30‑денний набір даних JSONL за 180 мс.\n\n2025\n\n**Ситуація.** Компанія обробляє великі обсяги різнорідних даних про електроенергію з кількох джерел, кожне з яких має власну частоту звітності — від погодинних до 15‑хвилинних інтервалів, а подекуди й з нерегулярними часовими мітками. Через таку мінливість важко скласти цілісний, порівнянний набір даних. Щоб енергетична аналітика була точною, ці дані потрібно нормалізувати до узгоджених погодинних значень споживання, агрегованих за зонами.\n\n**Завдання.** Мета полягала в тому, щоб узяти сирі дані про події з історичного набору даних (у форматі JSONL) і перетворити їх на погодинно вирівняні показники споживання електроенергії, по одному рядку на кожну годину й зону. Зокрема, завдання охоплювало:\n\n- Вирівнювання даних із часовими мітками до чітких погодинних інтервалів,\n- Агрегування загального виробництва електроенергії в межах кожного інтервалу підсумовуванням значень міксу,\n- Урахування транскордонного обміну: додавання імпорту й віднімання експорту,\n- Виведення підсумкових значень у структурованому, масштабованому форматі, придатному для подальшого аналізу.\n- Рішення також мало бути достатньо ефективним, щоб масштабуватися на великі часові вікна (30+ днів) і кілька країн/зон.\n\n**Дія.** Для цього завдання реалізовано три варіанти рішення — на Python, JQ (для обробки JSON у командному рядку) та SQL, — кожен оптимізований під свій контекст:\n\nPython обрали за гнучкість, зручність роботи з даними та здатність ефективно виконувати трансформації в пам'яті. На функціях чистого Python побудовано пайплайн, який:\n- Парсив файли JSONL у структуровані датафрейми\n- Зводив часові ряди до погодинних інтервалів\n- Агрегував виробництво та обчислював чисте споживання електроенергії (виробництво + імпорт − експорт)\n- Експортував результати у форматі CSV або завантажував їх у легку базу даних SQLite для перевірки.\n\nНа JQ створено швидке рішення з мінімальними залежностями для середовищ командного рядка — ланцюжок фільтрів JQ.\n\nУ PostgreSQL дані JSONL було імпортовано, створено нормалізовані таблиці та написано низку SQL‑запитів.\n\nДля оцінки продуктивності кожне рішення було протестовано на історичних наборах даних за 1 день і за 30 днів.\n\n**Результат.** Реалізація на Python виявилася найшвидшим і найкраще масштабованим рішенням і обробила:\n\n- дані за 1 день лише за 34 мс\n- набір даних за 30 днів — за 180 мс\n\nЦе підтвердило, що вона придатна для довших часових вікон і водночас вкладається в частки секунди. До того ж її код був зрозумілим і зручним у супроводі, тож його легко було розширити на обробку кількох зон або інтегрувати в ETL‑пайплайн.\n\nЗагалом підхід із кількома інструментами засвідчив гнучкість у виборі засобів, ґрунтовну оптимізацію продуктивності та надійне розв'язання задач вирівнювання за часом і агрегування в реальних пайплайнах даних про електроенергію.\n\n---\n\n- Роль: Інженер платформи та даних\n- Категорії: [Бази даних](https://engineer.company/uk/categories/databases/), [PostgreSQL](https://engineer.company/uk/categories/postgresql/), [SQL](https://engineer.company/uk/categories/sql/), [Інженерія даних](https://engineer.company/uk/categories/data-engineering/), [Пайплайни даних (ETL/ELT)](https://engineer.company/uk/categories/data-pipelines/), [Аналітика даних](https://engineer.company/uk/categories/data-analytics/), [Автоматизація та CI/CD](https://engineer.company/uk/categories/automation/), [Оптимізація продуктивності](https://engineer.company/uk/categories/performance/), [Python](https://engineer.company/uk/categories/python/)\n- Послуги: [Оптимізація продуктивності баз даних](https://engineer.company/uk/services/database-performance/), [Розробка пайплайнів даних (ETL/ELT)](https://engineer.company/uk/services/data-pipeline-development/), [Аналітика даних та BI‑дашборди](https://engineer.company/uk/services/data-analytics-bi/)\n\n\u003chttps://engineer.company/uk/portfolio/a-month-of-meter-readings-in-180-milliseconds/\u003e\n","date_modified":"2026-11-15T19:47:44Z","description":"Реалізація на Python виявилася найшвидшим і найкраще масштабованим рішенням і обробила: - дані за 1 день лише за 34 мс - набір даних за 30 днів — за 180 мс Це…","formats":{"gemtext":"https://engineer.company/uk/portfolio/a-month-of-meter-readings-in-180-milliseconds/index.gmi","gopher":"https://engineer.company/uk/portfolio/a-month-of-meter-readings-in-180-milliseconds/gophermap","html":"https://engineer.company/uk/portfolio/a-month-of-meter-readings-in-180-milliseconds/","json":"https://engineer.company/uk/portfolio/a-month-of-meter-readings-in-180-milliseconds/index.json","markdown":"https://engineer.company/uk/portfolio/a-month-of-meter-readings-in-180-milliseconds/index.md","pdf":"https://engineer.company/uk/portfolio/a-month-of-meter-readings-in-180-milliseconds/index.pdf"},"kind":"page","language":"uk","title":"Розробила пайплайн споживання енергії, 180 мс","url":"https://engineer.company/uk/portfolio/a-month-of-meter-readings-in-180-milliseconds/","version":1}