{"canonical_url":"https://engineer.company/uk/glossary/storage/","content_markdown":"# Зберігання даних\n\n## Що це таке\n\nЗберігання даних, часто просто зберігання, — це шар системи, де дані перебувають\nміж використаннями, на носіях, що переживають перезавантаження й знеструмлення.\nГлосарій NIST дає слову два значення, обидва взяті з SP 800-88r2: збереження\nданих, придатне для подальшого видобування, і апаратне забезпечення, на яке дані\nможна записати й з якого їх можна прочитати.\n\nБудь-яке зберігання спирається на фізичний носій: жорсткий диск із пластинами,\nтвердотільний накопичувач, SD-картку, стрічковий картридж. Програми бачать над\nним один із трьох шарів:\n\n- **Блочне зберігання** подає пристрій як ряд блоків фіксованого розміру,\n  адресованих номерами. Розділ диска, масив RAID і віртуальний диск у хмарі\n  виглядають для ядра саме так, а файлова система чи рушій бази даних вирішує,\n  що означають блоки.\n- **Файлове зберігання** кладе на ці блоки файлову систему: імена, каталоги,\n  розміри, власників і права доступу, а файл можна змінювати по кілька байтів.\n  Через NFS чи SMB одне дерево каталогів обслуговує багато машин.\n- **Об'єктне зберігання** тримає цілі об'єкти, кожен — послідовність байтів плюс\n  метадані, під іменем у контейнері, і до нього звертаються через HTTP API, а не\n  через монтування. Google Cloud Storage зберігає дані як об'єкти в контейнерах,\n  які називаються бакетами, кожен бакет належить до проєкту, а об'єкт — це\n  незмінний фрагмент даних, що складається з файлу будь-якого формату.\n\nТри шари розходяться в тому, скільки коштує зміна. Блочний пристрій переписує\nодин блок на місці. Файлова система редагує частину файлу й переносить його\nперейменуванням. Об'єктне сховище замінює об'єкт цілком: сторінка Google про\nоб'єкти виключає дописування й обрізання, а заміна відбувається атомарно, тож\nчитачі отримують стару версію, доки нове завантаження не завершиться.\nЗалежно від інструмента перейменування може означати копію під новим іменем і видалення оригіналу; Cloud Storage також підтримує атомарне перейменування об'єктів у межах одного бакета. У бакеті з\nпласким простором імен папки — це картинка, яку інструменти малюють зі скісних\nрисок в іменах об'єктів; рядок `folder1/` є частиною імені, а окремої папки\nбакет не зберігає.\n\nТой самий файл у кожному з трьох шарів:\n\n```sh\n# блок: ядро бачить диск як пронумеровані блоки\nlsblk /dev/sda\n\n# файл: файлова система над блоками, з іменами й каталогами\ndf -h /srv\n\n# об'єкт: цілий об'єкт, надісланий у бакет через API\ngcloud storage cp readings.csv.gz gs://example-bucket/2024/01/\n```\n\n## Чому це важливо\n\nНосій визначає, як дані втрачаються. Жорсткий диск, SSD і SD-картка ламаються\nкожен по-своєму, і метод відновлення, що підходить одному, стає хибним\nінструментом для наступного. Надлишковість усередині одного корпусу, як-от\nдзеркальна пара дисків чи масив RAID, зберігає дані придатними для читання, коли\nпомирає один диск, але записує кожне видалення на кожен диск так само сумлінно,\nяк і самі дані.\n\nДовговічність і доступність — дві різні обіцянки. Довговічність — це шанс, що\nзбережені дані вціліють; доступність — шанс, що їх вдасться прочитати в певну\nмить. Cloud Storage заявляє річну довговічність 99,999999999% для всіх класів\nзберігання, тоді як типова місячна доступність становить від 99,9% до понад\n99,99% залежно від класу й розташування. Клас зберігання — це метадані кожного\nоб'єкта, що задають його доступність і модель ціноутворення, а нові об'єкти\nуспадковують клас бакета за замовчуванням. Холодніші класи міняють нижчу ціну\nзберігання на трохи нижчу доступність, мінімальний строк зберігання 30, 90 або\n365 днів і плату за повторне читання даних; Google призначає їх для даних, які\nчитають раз на місяць або рідше, щонайбільше раз на квартал і рідше ніж раз на\nрік.\n\nРозташування — частина даних. Копія на тому самому диску, тій самій машині чи в\nтому самому хмарному обліковому записі поділяє з ними долю, а копія деінде — ні.\nРозташування задає також швидкість і вартість: Google зазначає, що дані в тому\nсамому регіоні, що й обчислення, які їх використовують, дають найкращу\nпродуктивність для інтенсивної роботи з даними й можуть зменшити плату за\nмережу.\n\nСпосіб, у який програма дістається до сховища, визначає решту. Програма\nрезервного копіювання restic описує свій репозиторій як просто каталог із\nнабором підкаталогів і файлів, і той самий каталог може лежати на локальному\nдиску, на сервері, до якого звертаються через SFTP, або в об'єктному сховищі на\nкшталт Google Cloud Storage чи Amazon S3. Дані лишаються тими самими, а\nзатримка, способи відмови й людина, яка керує обліковим записом, змінюються.\n\n## Як це виглядає на практиці\n\nЯкщо розглядати стек знизу вгору, попередня робота засновниці охоплювала фізичний носій, що виходить із ладу, та об'єктне сховище, що переміщує цілі файли. Власна реалізація резервного копіювання компанії описує автоматизацію створення копії в іншого провайдера як захист від втрати хоста; активація цього сховища й перевірка реального відновлення — окремі кроки.\n\nНа рівні фізичного носія\n[відновлення даних охоплювало практично всі поширені типи носіїв](/uk/portfolio/recovered-data-from-sd-cards-hdds-ssds-and-raid/),\nвід SD-карток і класичних HDD до SSD, масивів RAID, зовнішніх дисків і систем\nMac. Люди приносили носії, які вийшли з ладу або були пошкоджені, а на них —\nфотографії, бізнес-файли, єдину копію чогось по-справжньому важливого. Кожен\nносій по-своєму ламається і по-своєму віддає дані: SSD — зовсім інша задача, ніж\nдиск із пластинами, масив RAID — ще одна, а файлова система Mac має свої\nособливості. Знати правильний підхід до конкретного носія було не менш важливо,\nніж володіти будь-якою окремою технікою, і клієнти отримували назад критично\nважливі дані з пристроїв, які вже подумки списали як втрачені.\n\nШар об'єктного сховища видно в конвеєрах даних: у\n[шести ETL/ELT-пайплайнах, що постачали дані в Google BigQuery](/uk/portfolio/designed-and-ran-6-etl-elt-pipelines/),\nміж джерелом і BigQuery стояв бакет Google Cloud Storage. Впорядковані набори\nданих і таблиці експортували в проміжні формати, стискали gzip і передавали в\nбакет, а звідти bq CLI і скрипти на Python завантажували їх у BigQuery. Цілі\nстиснуті файли заходили, цілі файли виходили — саме для такого шаблону й\nстворено об'єктне зберігання.\n\nКопія в іншому місці є частиною [реалізації резервного копіювання та тестового відновлення](/uk/portfolio/backups-that-have-actually-been-restored/) компанії. Роль Ansible встановлює скрипти restic і юніти systemd для дампа бази даних, якщо його налаштовано, надсилання зашифрованого знімка з дедуплікацією до сховища іншого провайдера через SFTP, очищення за політикою зберігання та перевірки цілісності. Окремий щомісячний процес відновлює відомий файл у тимчасове місце й порівнює його байти, перевіряючи шлях зворотного читання, а не лише запису. Резервне копіювання й відновлення мають окремі сигнали про успіх, а таймерам потрібен налаштований репозиторій. У записі про реалізацію від 2026-10-27 зазначено, що ці таймери були вимкнені за відсутності репозиторію; жодного завершеного реального відновлення не зафіксовано. Запис документує автоматизацію та те, що потрібно активувати, але не доводить, що компанія вже може втратити хост і відновити свої дані.\n\n## Де виникають проблеми\n\nБільшість проблем зі зберіганням походить від копії, перевірки чи ціни, які\nздавалися надійними аж до дня, коли знадобилися.\n\n**Копія поділяє долю з оригіналом.** Знімок у тому самому обліковому записі,\nрезервна копія на тому самому диску, репліка в тій самій будівлі: кожна\nпереживає дрібні збої й гине разом із великим. Випишіть окремі події, що могли б\nзнищити обидві копії, і переносьте одну, доки список не стане коротким.\n\n**Надлишковість вважають резервною копією.** Дзеркало копіює кожен запис на\nкожен диск, разом із видаленнями й пошкодженнями. Воно рятує від мертвого диска;\nокрема копія з власною історією рятує від помилки.\n\n**Об'єктним сховищем користуються як файловою системою.** Код, написаний для\nфайлів, очікує дешевих перейменувань і переліків каталогів. Деякі інструменти реалізують перейменування об'єктів як копію плюс видалення, хоча Cloud Storage також підтримує атомарне перейменування в межах одного бакета. Google зазначає, що глибоко вкладені структури, схожі на каталоги, у пласкому просторі імен поступаються рідній файловій системі у швидкості переліку. Добирайте імена об'єктів під те, як їх читатимуть,\nа роботу, що редагує файли на місці, лишіть на файловому чи блочному зберіганні.\n\n**Перевірка читає індекс і пропускає дані.** За замовчуванням команда restic\n`check` перевіряє структуру репозиторію й лишає непрочитаними pack-файли з\nсамими даними резервних копій, бо для цього довелося б завантажити кожен із них.\n`--read-data` читає їх усі, а підмножини від `--read-data-subset=1/5` до `5/5`\nохоплюють репозиторій за п'ять запусків. Перевірка, яка лише перелічує файли,\nдоводить, що імена існують, і мало що каже про байти за ними.\n\n**Холодний клас тримає гарячі дані.** Файл, який щодня читають із класу,\nрозрахованого на щомісячне читання, платить за кожне читання, тож добирайте клас\nпід те, як дані насправді читають.\n\n## Що почитати далі\n\n- [NIST glossary: storage](https://csrc.nist.gov/glossary/term/storage) — два\n  значення слова так, як їх визначає NIST SP 800-88r2.\n- [About Cloud Storage objects](https://cloud.google.com/storage/docs/objects) —\n  дані й метадані об'єктів, правила іменування, незмінність і пласкі простори\n  імен за імітованими папками.\n- [Cloud Storage: Storage classes](https://cloud.google.com/storage/docs/storage-classes)\n  — довговічність, доступність, мінімальні строки зберігання й плата за\n  отримання для кожного класу.\n- [restic: Preparing a new repository](https://restic.readthedocs.io/en/stable/030_preparing_a_new_repo.html)\n  — що таке репозиторій і локальні, SFTP та об'єктні бекенди, на яких він може\n  лежати.\n- [restic: Working with repositories](https://restic.readthedocs.io/en/stable/045_working_with_repos.html)\n  — перевірка структури репозиторію й зворотне читання даних, які він містить.\n- [Cloud Storage: переміщення об'єктів](https://docs.cloud.google.com/storage/docs/json_api/v1/objects/move)\n  — Атомарне перейменування в межах одного бакета, на відміну від інструментів, які імітують переміщення копіюванням і видаленням.\n\n\u003chttps://engineer.company/uk/glossary/storage/\u003e\n","date_modified":"2026-11-12T05:34:23Z","description":"Чим різняться блочне, файлове й об'єктне зберігання, що обіцяють довговічність і класи зберігання і чому місце копії важить не менше за саму копію.","formats":{"gemtext":"https://engineer.company/uk/glossary/storage/index.gmi","gopher":"https://engineer.company/uk/glossary/storage/gophermap","html":"https://engineer.company/uk/glossary/storage/","json":"https://engineer.company/uk/glossary/storage/index.json","markdown":"https://engineer.company/uk/glossary/storage/index.md","pdf":"https://engineer.company/uk/glossary/storage/index.pdf"},"kind":"page","language":"uk","title":"Що таке зберігання даних?","url":"https://engineer.company/uk/glossary/storage/","version":1}