{"canonical_url":"https://engineer.company/uk/glossary/bigquery/","content_markdown":"# BigQuery\n\n## Що це таке\n\nBigQuery — це керований SQL-сервіс для аналітики в Google Cloud: серверів для\nнього ніхто не розгортає, таблиці зберігаються стовпець за стовпцем, а кожен\nзапит оплачується або за обсяг прочитаних байтів, або з обчислювальної\nпотужності, зарезервованої наперед. Його також називають Google BigQuery, а\nдіалект SQL, яким він користується, — GoogleSQL: він дотримується стандарту ANSI\nі додає власні функції.\n\nВ основі архітектури — розділення зберігання й обчислень. Таблиці лежать у\nсховищі Google, а запит позичає обчислювальні ресурси лише на час виконання.\nОскільки кожен стовпець зберігається окремо, запит, що називає три стовпці з\nп'ятдесяти, читає саме ці три, а решти не торкається. Тому й налаштування\nпродуктивності тут інше, ніж на сервері PostgreSQL. Замість проєктування\nB-tree-індексів і розрахунку пам'яті робота зводиться до форми таблиці: її можна\nподілити на партиції за стовпцем дати чи часової мітки, за часом завантаження\nабо за діапазоном цілих чисел, а також кластеризувати за кількома стовпцями, до\nчотирьох, щоб пов'язані рядки лежали в тих самих блоках.\n\nBigQuery належить до класу сховищ даних, і його зазвичай порівнюють зі Snowflake\nта Amazon Redshift, а також із варіантом залишити аналітику на транзакційній\nбазі даних, яку компанія вже має. Він створений для запитів, що проходять\nмільйони чи мільярди рядків і повертають кілька підсумкових чисел. Пошук і\nоновлення окремих рядків, які застосунок виконує на кожен запит користувача,\nналежать базі даних на кшталт PostgreSQL чи SQL Server. Поширена схема — тримати\nобидві системи й переносити дані з однієї в іншу конвеєром.\n\n## Чому це важливо\n\nРішення, яке BigQuery ставить перед командою, стосується того, як платити за\nаналітику. Рахунок залежить від запитів, які пишуть люди, а не від розміру\nмашини, яку колись хтось обрав, і це має два боки.\n\nЗа тарифом on-demand кожен запит оплачується за обсяг оброблених байтів. Це\nзручно для нерегулярної роботи: команда, яка кілька разів на тиждень запускає\nважкі звіти, платить за ці звіти й більше ні за що, а сервери не простоюють\nночами. Водночас недбалий запит отримує свою ціну. `SELECT *` за рік показників\nдатчиків коштує однаково, хоч аналітикові потрібен був один рядок, хоч усі.\nЄмнісний тариф замінює це слотами — одиницями обчислювальної потужності, які\nкупують через резервування. Тоді рахунок відомий наперед, а інтенсивне й\nрівномірне використання легше планувати. Проєкт може переходити між двома\nмоделями, тож перший вибір можна переглянути, коли стане видно реальне\nнавантаження.\n\nЗберігання має власні правила. Таблиця чи партиція, яку не змінювали 90 днів\nпоспіль, автоматично переходить на тариф довгострокового зберігання, нижчий на\n50%. Кожен набір даних тарифікується або за логічним, нестиснутим обсягом даних,\nабо за фізичним, стиснутим, і для даних, що добре стискаються, друга модель може\nвиявитися дешевшою.\n\nПеред тим як погоджуватися, варто зважити три речі. Розташування набору даних —\nокремий регіон або мультирегіон US чи EU — задається під час створення і потім\nне змінюється, тож це рішення про відповідність вимогам, яке ухвалюють у перший\nже день. Діалект, інструмент командного рядка `bq` і клієнтські бібліотеки\nналежать Google, тому запити переходять до іншого сховища даних із правками, а\nне як є. Самі дані водночас вивантажити легко: таблиці експортуються в CSV, Avro\nі Parquet. А питання найму м'якше, ніж здається: фахівці з аналізу даних, які\nзнають SQL, стають продуктивними за кілька днів, а рідкісніша навичка — читати\nзапит у байтах, а не лише в рядках.\n\nТож коли BigQuery — правильний вибір? Коли дані надходять великими обсягами й\nздебільшого лише доповнюються, як-от події, журнали чи показники лічильників;\nколи питання до них змінюються з тижня на тиждень; і коли команда не хоче\nадмініструвати сервери баз даних для аналітики. Для даних, які спокійно вміщує\nодин сервер PostgreSQL, сховище даних додає ще одну систему, ще один рахунок і\nконвеєр між ними. Аргументи на його користь зростають разом з обсягом і з\nкількістю людей, які ставлять запитання.\n\n## Як це виглядає на практиці\n\nПонад 100 баз даних в одному середовищі працювали на PostgreSQL, Microsoft SQL\nServer і Google BigQuery, і BigQuery стояв там поряд із PostgreSQL, а не замість\nнього. Більшість даних були географічними або часовими рядами: координати,\nпоказники датчиків, журнали й метрики в реальному часі. З боку BigQuery\n[великі таблиці часових рядів було поділено на партиції за часом і кластеризовано](/uk/portfolio/ran-100-postgresql-ms-sql-bigquery-warehouses/),\nа стиснення й стовпцеве зберігання застосовано, щоб тримати витрати на\nзберігання низькими, а сканування швидким. Разом з індексуванням,\nматеріалізованими представленнями й кешуванням у всьому середовищі це на 40–60%\nскоротило час, за який повертаються GIS-запити й запити до часових рядів.\n\nУ геопросторовому конвеєрі даних, який став повільним, спершу проаналізували SQL-код і моделі даних у PostgreSQL, MS SQL і Google Cloud BigQuery, що виявило слабке індексування, неефективні запити й відсутні обмеження цілісності. Потім для кожного рушія застосували доступний йому інструмент: B-tree- та GiST-індекси в PostgreSQL, фільтровані індекси в MS SQL і [кластеризацію в BigQuery](/uk/portfolio/made-a-geographical-data-pipeline-50x-faster/), а також нормалізовані моделі, партиціювання й переписані запити. В описі досягнення засновниці зазначено, що конвеєр загалом працював у 50 разів швидше; набір даних для бенчмарку, обладнання й процедуру порівняння там не вказано.\n\nА на даних розумних лічильників із кількох регіонів\n[понад 500 аналітичних звітів було написано чистим SQL](/uk/portfolio/released-500-electricity-and-gis-data-reports/)\nу PostgreSQL і BigQuery: з CTE, віконними функціями, підзапитами й\nгеопросторовими з'єднаннями за ідентифікаторами лічильників, часовими мітками,\nкоординатами й метаданими про довкілля. До кожного звіту додавали\nпрокоментований SQL, щоб колега міг перезапустити й перевірити його, а також\nнотатки про відомі проблеми якості даних, як-от відсутні GPS-координати чи\nпошкоджені показники лічильників. Звіти стали стандартним довідником для\nбагатьох відділів і сприяли підвищенню ефективності операційного планування на\n10–15%.\n\n## Де виникають проблеми\n\n**Запит із `LIMIT 10` оплачується за всю таблицю.** На некластеризованій таблиці\n`LIMIT` обрізає результат, а не прочитані байти, а `SELECT *` читає кожен\nстовпець, який є. Швидкий погляд на дані перетворюється на повне сканування.\nНазивайте лише ті стовпці, які потрібні для питання, а зразки рядків дивіться\nчерез попередній перегляд таблиці в консолі або `bq head` — це безкоштовно.\n\n**Партиційовану таблицю все одно сканують від початку до кінця.** Партиції\nпропускаються лише тоді, коли фільтр за стовпцем партиціювання — константа, яку\nрушій може обчислити ще до читання. Порівняння стовпця з результатом підзапиту,\nзагортання його у функцію чи арифметика над ним змушують запит пройти всі\nпартиції. Допомагають два запобіжники. Таблиця може вимагати фільтр за\nпартицією, і тоді запит без придатного фільтра зупиняється з помилкою, замість\nтого щоб виконатися. А пробний запуск (dry run) показує, скільки байтів обробив\nби запит, не виконуючи його і не беручи за нього плату:\n\n```sh\nbq query --use_legacy_sql=false --dry_run \\\n  'SELECT meter_id, kwh\n   FROM energy.readings\n   WHERE reading_date = DATE \"2026-10-01\"'\n```\n\n**Кластеризацію додали, а кількість прочитаних байтів майже не змінилася.**\nКластеризація впорядковує блоки сховища за стовпцями, до чотирьох, у заданому\nпорядку, і цей порядок важить: таблиця, кластеризована за датою замовлення,\nкраїною і статусом, не впорядкована для фільтра лише за країною і статусом.\nТаблиці, менші за 64 МБ, виграють від цього мало, а на кластеризованій таблиці\nкількість фактично просканованих байтів стає відомою лише після завершення\nзапиту. Розташовуйте стовпці кластеризації в тому порядку, у якому фільтрують\nзапити. Якщо витрати треба обмежити ще до запуску, покладайтеся на\nпартиціювання, відсікання партицій якого пробний запуск уже враховує, і задайте\nмаксимальну кількість оплачуваних байтів, щоб запит понад ліміт зупинявся до\nтого, як за нього виставлять рахунок.\n\n**Запит, що з'єднує два набори даних, відхиляється.** Кожен набір даних\nрозміщений в одному місці, і запит виконується в одному місці, тож усі набори,\nяких він торкається, мусять мати спільне розташування. Команди, що дають кожному\nпроєкту взяти власне значення за замовчуванням, отримують таблиці, які можна\nз'єднати лише після копіювання однієї з них. Оберіть розташування один раз — з\nогляду на вимоги відповідності й на те, звідки надходять дані, — і свідомо\nстворюйте кожен набір даних саме там.\n\n## Що почитати далі\n\n- [BigQuery overview](https://cloud.google.com/bigquery/docs/introduction)\n  — власний опис сервісу від Google: окремі шари зберігання й обчислень і те,\n  чим керує сам сервіс.\n- [Introduction to partitioned tables](https://docs.cloud.google.com/bigquery/docs/partitioned-tables)\n  — типи партиціювання, їхня гранулярність і обмеження.\n- [Query partitioned tables](https://docs.cloud.google.com/bigquery/docs/querying-partitioned-tables)\n  — які фільтри відсікають партиції, а які змушують запит пройти їх усі.\n- [Introduction to clustered tables](https://docs.cloud.google.com/bigquery/docs/clustered-tables)\n  — як порядок стовпців визначає, які блоки буде пропущено, і що це означає для\n  оцінки вартості.\n- [Estimate and control costs](https://docs.cloud.google.com/bigquery/docs/best-practices-costs)\n  — пробні запуски, ліміт оплачуваних байтів і безкоштовні способи переглянути\n  таблицю.\n- [BigQuery locations](https://docs.cloud.google.com/bigquery/docs/locations)\n  — регіони, мультирегіони й правила для запитів, що зачіпають кілька наборів\n  даних.\n\n\u003chttps://engineer.company/uk/glossary/bigquery/\u003e\n","date_modified":"2026-11-08T02:22:23Z","description":"Як BigQuery рахує плату за запити й зберігання, коли він вигідніший за аналітику на власній базі даних і які чотири помилки роблять запит дорогим.","formats":{"gemtext":"https://engineer.company/uk/glossary/bigquery/index.gmi","gopher":"https://engineer.company/uk/glossary/bigquery/gophermap","html":"https://engineer.company/uk/glossary/bigquery/","json":"https://engineer.company/uk/glossary/bigquery/index.json","markdown":"https://engineer.company/uk/glossary/bigquery/index.md","pdf":"https://engineer.company/uk/glossary/bigquery/index.pdf"},"kind":"page","language":"uk","title":"Що таке BigQuery?","url":"https://engineer.company/uk/glossary/bigquery/","version":1}