{"canonical_url":"https://engineer.company/uk/glossary/utf-8/","content_markdown":"# UTF-8\n\n## Що це таке\n\nUTF-8 — це кодування, яке перетворює текст Unicode на байти. Стандарт Unicode\nвизначає його як форму кодування, що записує кожне скалярне значення Unicode,\nтобто будь-яку кодову точку, крім сурогатів, відведених для UTF-16, як\nпослідовність від одного до чотирьох байтів. Символ, який користувач сприймає\nяк один, може містити кілька скалярних значень і тому потребувати більше байтів. Це одна з трьох форм кодування\nстандарту, поряд з UTF-16 і UTF-32, і саме її вимагають власні стандарти вебу.\nЯк позначку кодування на сторінці HTML чи в заголовку HTTP його зазвичай пишуть\nмалими літерами, utf-8, а часом і без дефіса, utf8; Encoding Standard приймає\nобидва варіанти й не зважає на регістр у позначках.\n\nUTF-8 придумав Кен Томпсон у вересні 1992 року за критеріями, які сформулював\nРоб Пайк, для операційної системи Plan 9, а до нинішньої назви воно встигло\nзватися FSS-UTF і UTF-2. RFC 3629, визначення IETF від 2003 року, обмежує його\nкодовими точками від U+0000 до U+10FFFF, тобто тим самим кодовим простором, що й\nу Unicode. Коли писали RFC, опис UTF-8 у стандарті ISO/IEC 10646 ще допускав\nпослідовності до шести байтів; за RFC і стандартом Unicode жодне скалярне значення Unicode не\nзаймає більше чотирьох.\n\nСтарші біти кожного байта кажуть, що це за байт. Байт, у якого старший біт\nдорівнює 0, сам є символом, одним із 128 символів ASCII. Байт, що починається\nз 110, 1110 чи 11110, відкриває послідовність із двох, трьох чи чотирьох байтів,\nа кожен наступний байт починається з 10 і несе ще шість бітів кодової точки.\nУвесь формат уміщується в чотири рядки, де x позначає біти кодової точки:\n\n```text\nU+0000..U+007F     0xxxxxxx\nU+0080..U+07FF     110xxxxx 10xxxxxx\nU+0800..U+FFFF     1110xxxx 10xxxxxx 10xxxxxx\nU+10000..U+10FFFF  11110xxx 10xxxxxx 10xxxxxx 10xxxxxx\n```\n\nТрибайтовий рядок оминає сурогати, від U+D800 до U+DFFF: вони не є символами, і\nбудь-яка послідовність байтів, яка кодувала б один із них, неправильно\nсформована.\n\nЗ такої будови випливають чотири властивості, і стандарт Unicode називає кожну з\nних. UTF-8 прозоре для ASCII: байти від 00 до 7F означають те саме, що в\nASCII, і ніколи не трапляються всередині іншого символу. Воно\nсамосинхронізується: початковий байт легко відрізнити від байта продовження.\nДвійкове сортування рядків UTF-8 дає той самий порядок, що й сортування за\nкодовими точками. І в UTF-8 немає порядку байтів, тож питання прямого чи\nзворотного порядку, big-endian чи little-endian, на яке мусять відповідати\nUTF-16 і UTF-32, тут не постає взагалі.\n\n## Чому це важливо\n\nВеб уже зробив свій вибір. Encoding Standard від WHATWG, специфікація, яку\nбраузери реалізують для читання й запису тексту, називає UTF-8 найдоречнішим\nкодуванням для обміну текстом Unicode і вимагає його для нових протоколів і\nформатів, а також для наявних форматів, які застосовують у нових контекстах.\nАвторам цей стандарт велить писати в UTF-8 і позначати його як utf-8. HTML іде\nтим самим шляхом: кодуванням документа мусить бути UTF-8, оголошує це документ\nчи ні, а інструменти для створення документів мусять типово пропонувати UTF-8\nдля нових документів. Продукт, що публікує сторінки, надсилає JSON або приймає\nдані з форм, уже мусить працювати в UTF-8.\n\nБудова кодування пояснює, чому цей вибір закріпився. Оскільки байти ASCII ніколи\nне трапляються всередині іншого символу, програма, написана для ASCII, і далі\nпрацює з текстом UTF-8: парсер, що ділить рядок за комами, скісними рисками чи\nрозривами рядків, знаходить їх в українському чи данському реченні саме там, де\nвони стоять, і ніколи посередині Ґ чи å. Оскільки програма, що опинилася в\nдовільній позиції, знаходить початок закодованого скалярного значення, відступивши назад\nщонайбільше на чотири байти, а здебільшого менше, декодування може\nпродовжитися з наступної коректної послідовності без втрати решти файлу.\nЦе не обіцяє рівно одного символу заміни на кожен пошкоджений байт. Пошук\nодного повного закодованого скалярного значення ніколи не збігається з частиною іншого.\nОскільки двійковий порядок збігається з порядком кодових точок, база даних чи\nпрограма може сортувати байти UTF-8, не декодуючи їх. Проте цей порядок суто\nтехнічний: він ставить ґ, є, і та ї після я, хоча в абетці ґ стоїть одразу за г,\nє за е, а і та ї за и.\n\nЦіна за це — розмір. Стандарт Unicode називає UTF-8 доволі компактним: значно меншим за UTF-16 для синтаксису ASCII і західних мов і значно більшим для письма азійських мов, як-от гінді, тайської, китайської, японської та корейської. Українська займає два байти на кожну кириличну літеру й один на пробіли, цифри та розділові знаки ASCII, але інші розділові знаки можуть потребувати більше. Тож поле, розмір якого рахують у байтах, уміщує приблизно вдвічі менше українських літер, ніж англійських. У базовій данській абетці літери займають один байт, крім æ, ø і å, які займають по два; інші літери з діакритикою можуть потребувати більше.\n\n## Як це виглядає на практиці\n\nБайти легко побачити. У Node.js, як і в браузері, є `TextEncoder` з Encoding\nStandard, який записує рядок в UTF-8:\n\n```js\nconst hex = (bytes) =\u003e\n  [...bytes].map((b) =\u003e b.toString(16).padStart(2, \"0\")).join(\" \");\nconst encoder = new TextEncoder();\nfor (const text of [\"A\", \"å\", \"Ґ\", \"€\", \"𐌂\"]) {\n  console.log(text, hex(encoder.encode(text)).toUpperCase());\n}\n```\n\nЗапущений у Node.js 25, код виводить кожен символ і його байти в\nшістнадцятковому записі:\n\n```text\nA 41\nå C3 A5\nҐ D2 90\n€ E2 82 AC\n𐌂 F0 90 8C 82\n```\n\nЛітера A належить до ASCII й зберігає свій єдиний байт. Скандинавська літера å\nмає кодову точку U+00E5, для якої потрібні вісім бітів, на один більше, ніж сім,\nякі може нести один байт, тож вона бере двобайтовий шаблон. Її одинадцятибітове\nзначення, 00011100101, ділиться на 00011 і 100101; початковий байт стає 110\nі 00011, тобто C3, а байт продовження — 10 і 100101, тобто A5. Українська Ґ,\nU+0490, так само займає два байти, знак євро — три, а літера староіталійського\nписьма 𐌂, що лежить вище за U+FFFF, — чотири. Перший байт кожної послідовності\nоголошує її довжину: C3 і D2 починаються з 110, E2 — з 1110, а F0 — з 11110.\n\nЦей сайт пише кожну сторінку в UTF-8 і повідомляє про це там, де цього вимагає\nHTML. Першим елементом у head кожної сторінки йде `\u003cmeta charset=\"utf-8\"\u003e` з\nпозначкою utf-8, яку приписує Encoding Standard, і він стоїть задовго до кінця\nперших 1024 байтів, у яких HTML вимагає розмістити оголошення.\nНа [сторінці подяк](/uk/credits/) є розділ із перевірками сторонніх сервісів,\nжоден із яких не наш: кожне посилання там запускає живу перевірку й не вірить\nнам на слово. Одна з них — Перевірка інтернаціоналізації W3C, яка читає\nоголошення мови й кодування, завдяки яким кожна мовна версія сайту правильно\nвідображається для свого читача.\n\n## Де виникають проблеми\n\n**Обмеження в байтах розрізає символ навпіл.** Стовпець, поле повідомлення чи\nбуфер, розмір яких рахують у байтах, можуть закінчитися посередині\nпослідовності. Датська назва острова Ærø має три символи й п'ять байтів, і\nобмеження в чотири байти лишає Æ, r і перший байт ø:\n\n```js\nconst bytes = new TextEncoder().encode(\"Ærø\");\nconst cut = new TextDecoder().decode(bytes.slice(0, 4));\nconsole.log(bytes.length, [...cut].map((c) =\u003e c.codePointAt(0).toString(16)));\nconsole.log(new TextEncoder().encodeInto(\"Ærø\", new Uint8Array(4)));\n```\n\n```text\n5 [ 'c6', '72', 'fffd' ]\n{ read: 2, written: 3 }\n```\n\nОдинокий початковий байт декодується як U+FFFD, символ заміни, тож збережена\nназва закінчується заповнювачем там, де було ø. Обрізайте натомість на межі\nскалярних значень Unicode. `encodeInto` в останньому рядку коду робить це сам: отримавши чотири\nбайти місця, він записує лише три байти Æ і r і повідомляє в `read`, яку частину\nрядка взяв, рахуючи в одиницях UTF-16. Код, що обрізає байти, які вже має, може\nвідступити через байти продовження, ті, що починаються з 10, до початкового\nбайта й обрізати там. Це зберігає коректність UTF-8; щоб також зберегти цілий символ у сприйнятті користувача, треба дотримуватися меж графемних кластерів.\n\n**Файл починається з мітки порядку байтів.** UTF-8 не має порядку байтів, тож\nмітка йому не потрібна, але конвертер, що перетворює UTF-16 з міткою порядку\nбайтів (BOM) на UTF-8, перетворює мітку на три байти EF BB BF. Стандарт Unicode\nїх не вимагає, каже, що їхня наявність не впливає на відповідність стандарту, і\nне радить уживати їх як сигнатуру UTF-8. Програми, що читають текст, поводяться\nз ними по-різному. Ось файл bom.json, що містить ці три байти, а за ними\n`{\"name\":\"Ærø\"}`:\n\n```js\nimport { readFileSync } from \"node:fs\";\n\nconst text = readFileSync(\"bom.json\", \"utf8\");\nconsole.log(text.codePointAt(0).toString(16));\ntry {\n  JSON.parse(text);\n} catch (error) {\n  console.log(error.name);\n}\nconsole.log(JSON.parse(new TextDecoder().decode(readFileSync(\"bom.json\"))));\n```\n\n```text\nfeff\nSyntaxError\n{ name: 'Ærø' }\n```\n\n`readFileSync` у Node залишає мітку як символ U+FEFF, і `JSON.parse` через неї\nвідхиляє текст. `TextDecoder` дотримується Encoding Standard, вилучає мітку, і\nті самі байти розбираються без помилок. У браузері мітка важить ще більше:\nEncoding Standard ставить її вище за все інше, зокрема й за заголовок HTTP\n`Content-Type`. Записуйте UTF-8 без мітки, а файли, що надходять з інших систем,\nдекодуйте декодером, який її вилучає, або вилучайте початковий U+FEFF перед\nрозбором.\n\n**Перевірка читає байти до декодування.** RFC 3629 описує парсер, що перевіряє\nвхідні дані в закодованому вигляді й відкидає байти 2F 2E 2E 2F, тобто крок\nшляху «/../», але пропускає 2F C0 AE 2E 2F, де C0 AE — недопустимий двобайтовий\nзапис крапки, який парсер далі все одно прочитає як крапку. RFC зазначає, що\nсаме цим трюком скористався поширений вірус, який 2001 року атакував вебсервери.\nПочинаючи з Unicode 3.1 такі не найкоротші форми вважаються неправильно\nсформованими, а байти C0, C1 і від F5 до FF ніколи не трапляються в коректному\nUTF-8. Декодер, що відповідає стандарту, зокрема `TextDecoder`, перетворює ці\nп'ять байтів на скісну риску, два U+FFFD і «./», тож жодного «/../», який міг би\nпрослизнути, не лишається. Стандарт Unicode так само суворий щодо того, що йде\nпісля помилки: декодер, який поглинає коректні байти після хибного початкового\nбайта, не відповідає стандарту й вразливий до атак, а `TextDecoder` перетворює\nбайти C2 41 42 на U+FFFD і літери AB. Спершу декодуйте вбудованим декодером\nплатформи, потім перевіряйте декодований текст і ніколи не пишіть власноруч\nдекодер UTF-8 чи шаблон байтів, що його підміняє.\n\n**Заміна приховує пошкодження.** Типово декодер замінює кожну хибну\nпослідовність на U+FFFD і працює далі. Для показу сторінки це правильно, а для\nімпорту даних — ні: текст читається майже нормально, збережена копія втратила\nпочаткові байти, а відправник так і не дізнається, де файл пошкоджено. Encoding\nStandard називає два режими обробки помилок під час декодування, «replacement» і\n«fatal», і для ідентифікаторів та послідовностей байтів усередині формату чи\nпротоколу дозволяє іншим стандартам вибрати декодер, що зупиняється з помилкою\nзамість заміни. У JavaScript `new TextDecoder(\"utf-8\", { fatal: true })` для\nобрізаної назви вище кидає `TypeError`, а не повертає її. Вмикайте режим fatal\nскрізь, де текст зберігають, підписують чи порівнюють, відхиляйте такі вхідні\nдані з повідомленням, за яким відправник зможе їх виправити, а заміну залиште\nдля показу.\n\n**Оголошення запізнюється, бракує його або воно хибне.** HTML вимагає, щоб\nелемент, який оголошує кодування, повністю вміщувався в перші 1024 байти\nдокумента. Оголошення потрібне навіть тоді, коли всі символи належать до ASCII,\nбо браузеру потрібне кодування для того, що люди вводять у форми, і для URL, які\nбудують скрипти. Позначка, що здається безневинною, теж може бути хибною: в\nEncoding Standard «ascii», «latin1» та «iso-8859-1» — це позначки windows-1252,\nтож сторінку, оголошену як ASCII, прочитають як windows-1252. Ставте\n`\u003cmeta charset=\"utf-8\"\u003e` першим у head, надсилайте\n`Content-Type: text/html; charset=utf-8` з кожною сторінкою, а будь-яку іншу\nпозначку в будь-якому з цих двох місць вважайте дефектом.\n\n## Що почитати далі\n\n- [The Unicode Standard, Chapter 3: Conformance](https://www.unicode.org/versions/Unicode18.0.0/core-spec/chapter-3/#G27817)\n  — визначення UTF-8, таблиця коректних послідовностей байтів, мітка порядку\n  байтів і те, як конвертер мусить поводитися з неправильно сформованими\n  вхідними даними.\n- [The Unicode Standard, Chapter 2: General Structure](https://www.unicode.org/versions/Unicode18.0.0/core-spec/chapter-2/)\n  — чому UTF-8 прозоре для ASCII, самосинхронізується й не має порядку байтів,\n  і як його розмір співвідноситься з UTF-16.\n- [RFC 3629: UTF-8, a transformation format of ISO 10646](https://www.rfc-editor.org/rfc/rfc3629)\n  — визначення IETF, історія кодування від Plan 9 і міркування безпеки, що\n  стоять за атакою з надмірно довгими записами символів у шляху.\n- [Encoding Standard](https://encoding.spec.whatwg.org/) — специфікація\n  WHATWG, якої дотримуються браузери: чому UTF-8 обов'язкове, як декодування\n  поводиться з міткою порядку байтів і помилками, та інтерфейси `TextEncoder`\n  і `TextDecoder`.\n- [HTML: Specifying the document's character encoding](https://html.spec.whatwg.org/multipage/semantics.html#charset)\n  — що мусить сказати оголошення, де воно має стояти і чому воно потрібне\n  навіть сторінці, написаній лише символами ASCII.\n\n\u003chttps://engineer.company/uk/glossary/utf-8/\u003e\n","date_modified":"2026-11-09T21:50:25Z","description":"Як UTF-8 записує скалярні значення в один–чотири байти, чому веб його вимагає, і п'ять помилок, через які обрізаний текст, мітки й хибні байти псують дані.","formats":{"gemtext":"https://engineer.company/uk/glossary/utf-8/index.gmi","gopher":"https://engineer.company/uk/glossary/utf-8/gophermap","html":"https://engineer.company/uk/glossary/utf-8/","json":"https://engineer.company/uk/glossary/utf-8/index.json","markdown":"https://engineer.company/uk/glossary/utf-8/index.md","pdf":"https://engineer.company/uk/glossary/utf-8/index.pdf"},"kind":"page","language":"uk","title":"Що таке UTF-8?","url":"https://engineer.company/uk/glossary/utf-8/","version":1}