{"canonical_url":"https://engineer.company/uk/glossary/unicode/","content_markdown":"# Unicode\n\n## Що це таке\n\nUnicode — це стандарт, що дає кожній літері, цифрі, розділовому знаку й символу\nписемностей світу власний номер. Українською його назву часто пишуть і\nкирилицею: Юнікод. Ті, хто супроводжує стандарт, називають його універсальним\nкодуванням символів: воно створене для того, щоб тексти мовами сучасного світу й\nтексти технічних галузей можна було передавати, обробляти й відображати будь-де,\nі поширене на класичні та історичні тексти багатьох писемних мов. Один репертуар\nвміщує скандинавську літеру å, українську Ґ, знак євро й літери писемностей,\nякими ніхто не пише вже багато століть, тож один документ або один стовпець бази\nданих може містити їх усі.\n\nФормально версія стандарту Unicode складається з основної специфікації, кодових\nтаблиць, додатків до стандарту, Unicode Standard Annexes, і Unicode Character\nDatabase, машинозчитуваних файлів, що описують властивості кожного символу.\nТехнічний комітет Unicode постійно супроводжує стандарт, Консорціум Unicode його\nпублікує, а версію 18.0 оголосили 16 вересня 2026 року.\n\nНомер, який отримує символ, називають кодовою точкою. Кодовий простір охоплює\nзначення від 0 до 10FFFF у шістнадцятковому записі, тобто 1 114 112 кодових\nточок, а кодову точку записують як U+ і щонайменше чотири шістнадцяткові цифри:\nå має кодову точку U+00E5, Ґ має U+0490, а знак євро U+20AC. Правила\nстабільності консорціуму обіцяють, що закодований символ ніколи не перемістять і\nне вилучать, а його назву не змінять, тож текст, закодований сьогодні,\nозначатиме те саме в кожній наступній версії.\n\nБільшість стандарту тримається на двох розрізненнях. Перше пролягає між символом\nі гліфом. Unicode кодує символ, абстрактну літеру, а форму залишає шрифту:\nосновна специфікація прямо каже, що за вигляд гліфів відповідають виробники\nшрифтів і що він не є частиною стандарту. Та сама кодова точка може мати різний\nвигляд у двох гарнітурах, а гарнітура, у якій для неї немає форми, не зможе її\nнамалювати взагалі. Друге розрізнення пролягає між кодовою точкою та байтами,\nякі її зберігають. Unicode визначає три форми кодування, UTF-8, UTF-16 і UTF-32,\nщо записують кожну кодову точку як одну або кілька одиниць завдовжки 8, 16\nчи 32 біти, а специфікація називає пасткою спробу розрізняти\n«UTF-8 versus Unicode»: усі три форми однаково правильно реалізують ті самі\nсимволи.\n\n## Чому це важливо\n\nДо Unicode кожна писемність мала власні кодові сторінки, і байт нічого не\nозначав, доки не стало відомо, яку сторінку вжито. У кириличній кодовій сторінці\nwindows-1251 байт E5 означає літеру е; у західноєвропейській windows-1252 той\nсамий байт означає å. Жодна з них не могла вмістити літер іншої: windows-1251\nмає Ґ, але не має ні å, ні æ, ні ø, а в windows-1252 навпаки. Продукт\nукраїнською та данською потребував двох кодувань і ретельного обліку того, який\nтекст яким кодуванням записано, а речення, що цитувало обидві мови, зберегти не\nвдавалося взагалі.\n\nUnicode зробив цей облік зайвим. Усі мови, якими виходить продукт, і всі імена,\nякі клієнт вводить у форму, вміщуються в один набір символів, а той самий номер\nозначає той самий символ у кожній системі, що його читає. Саме це дає змогу базі\nданих, API та браузеру передавати текст одне одному, не домовляючись спершу про\nкодову сторінку.\n\nСтандарт також вирішує питання, які інакше кожна програма вирішувала б\nпо-своєму. Він об'єднує однакові символи різних мов: кома лишається тим самим\nсимволом незалежно від того, чи відокремлює вона тисячі, як в англійській, чи\nдесяткові знаки, як в українській, тож значення визначає мова та її правила, а\nне кодова точка. Символів різних писемностей він не об'єднує: латинська o,\nкирилична о та грецька ο в більшості шрифтів мають однаковий вигляд, але це три\nсимволи, бо вони належать трьом писемностям, а старіші кодування вже розрізняли\nїх. І він визначає, які послідовності еквівалентні. Å можна зберегти як готовий\nскладений символ або як A, за яким іде комбінований знак кільця, і стандарт\nвизначає ці дві форми як канонічно еквівалентні, тобто такі, що мають\nпоказуватися й тлумачитися однаково, а форми нормалізації зводять обидві до\nодного узгодженого написання.\n\nЦя широта має ціну, і платить її програміст. Символ не є байтом, не завжди є\nоднією одиницею в рядку й не завжди збігається з тим, що читач вважає літерою.\nКод, який плутає ці три речі, проходить тести на англійських даних і ламається\nна іменах, адресах і повідомленнях саме тих людей, для яких його написали.\n\n## Як це виглядає на практиці\n\nJavaScript робить ці рівні видимими. Рядок у ньому складається з кодових одиниць\nUTF-16, а якщо розгорнути його в масив, він поділиться на кодові точки:\n\n```js\nconst hex = (n) =\u003e n.toString(16).toUpperCase().padStart(4, \"0\");\nfor (const text of [\"a\", \"å\", \"Ґ\", \"€\", \"𐌂\"]) {\n  const points = [...text].map((c) =\u003e \"U+\" + hex(c.codePointAt(0)));\n  console.log(text, points.join(\" \"), text.length, [...text].length);\n}\n```\n\nЗапущений у Node.js 25, код виводить кожен символ, його кодову точку, довжину в\nодиницях UTF-16 і довжину в кодових точках:\n\n```text\na U+0061 1 1\nå U+00E5 1 1\nҐ U+0490 1 1\n€ U+20AC 1 1\n𐌂 U+10302 2 1\n```\n\nОстанній рядок показує літеру староіталійського письма. Її кодова точка лежить\nвище за U+FFFF, тож UTF-16 зберігає її як дві одиниці, сурогатну пару, і\n`length` повідомляє 2 для того, що є одним символом.\n\nЕквівалентність видно так само. Ось три рядки, які всі показуються як Å:\n\n```js\nconst forms = [\"\\u00C5\", \"A\\u030A\", \"\\u212B\"];\nconsole.log(\"form length equal NFC\");\nfor (const [i, s] of forms.entries()) {\n  console.log(i + 1, s.length, s === forms[0], s.normalize(\"NFC\") === forms[0]);\n}\n```\n\n```text\nform length equal NFC\n1 1 true true\n2 2 false true\n3 1 false true\n```\n\nПерший рядок містить готову складену літеру U+00C5. Другий містить звичайне A,\nза яким іде U+030A, комбіноване кільце над літерою. Третій містить U+212B, знак\nангстрема, який Unicode Character Database зводить до U+00C5. Якщо порівнювати\nїх як є, це три різні рядки; після нормалізації до NFC усі три стають одним\nрядком. На екрані їх ніщо не відрізняє, тож пошук, унікальний індекс або вхід до\nоблікового запису, що порівнює сирі рядки, побачить три різні імена.\n\nНавіть цей сайт залежить від кодових точок, лише в менш помітному місці.\nНотатка про\n[підкреслення, яке перекреслювало кожну літеру](/uk/notes/safari-underline-font-subset/)\nописує латинські та кириличні шрифти Ubuntu для основного тексту сайту як шість\nнакреслень: три ступені насиченості для латиниці й три для кирилиці, щоб українська сторінка\nбула набрана тим самим шрифтом, що й англійська. Кожне накреслення оголошує\nдіапазон символів, які воно покриває. Ці діапазони спрямовують вибір шрифту для\nсимволів на сторінці; явно задане попереднє завантаження також може запросити\nфайл ще до звичайного виявлення шрифту браузером. Кириличне оголошення задає\nсвій діапазон у кодових точках:\n\n```text\nunicode-range: U+0400-045F, U+0490-0491;\n```\n\nПерший діапазон охоплює символи від Ѐ до џ, зокрема українські Є, І та Ї разом з\nрештою основної кирилиці. Другий містить лише Ґ і ґ, які лежать далі в\nкириличному блоці. Діапазони вказують, яке накреслення можна вибрати для символу, але\nшрифт також має містити його гліф. Вони не гарантують, що сторінка завантажує\nфайли лише для однієї системи письма. Англійський і данський текст\nвикористовує латинські накреслення, але назва української мови може потребувати\nкириличного, і сайт явно задає попереднє завантаження легкого кириличного\nнакреслення основного тексту на некириличних сторінках для показу на екрані.\n\n## Де виникають проблеми\n\n**Довжину рахують у кодових одиницях.** `length` у JavaScript рахує одиниці\nUTF-16, тож 𐌂 рахується за дві, а A з комбінованим кільцем теж за дві, хоча\nчитач бачить одну літеру. Обмеження, яке перевіряють в одиницях, відхиляє текст,\nщо насправді вміщується, а обрізання на фіксованій позиції може розрізати\nсимвол: `\"A\\u030A\".slice(0, 1)` лишає A й губить кільце, а якщо розрізати 𐌂\nнавпіл, лишиться одинокий сурогат, який кодувальник UTF-8 замінить на U+FFFD,\nсимвол заміни. Для кожного обмеження вирішіть, що воно рахує: байти там, де межу\nзадає зберігання, і символи такими, якими їх бачить читач, там, де межу задає\nлюдина. `Intl.Segmenter` рахує у другий спосіб: для слова «Київ», де ї записано\nяк і з комбінованим знаком U+0308, він дає 4, а `length` дає 5. Обрізайте текст\nлише на межах, які він повідомляє.\n\n**Однаковий текст порівнюють одиниця за одиницею.** Для `===`, для геш-функції\nта для унікального індексу три форми Å вище є трьома різними рядками, тож клієнт\nможе зареєструвати те саме ім'я двічі або не знайти документ за назвою, яку сам\nнабрав. Нормалізуйте текст до NFC там, де він потрапляє в систему, зберігайте\nйого нормалізованим і порівнюйте нормалізовані форми. Правила стабільності\nгарантують, що рядок, нормалізований за однієї версії, лишається нормалізованим\nза всіх наступних, якщо він містить лише символи, відомі тій версії, тож код,\nякий нормалізує, мусить бути не старішим за текст.\n\n**Схожі символи сприймають як однакові.** Латинська o, кирилична о та грецька ο\nмають різні кодові точки, але більшість шрифтів малює їх однаково, тож два імена\nоблікових записів або два артикули можуть мати однаковий вигляд і відрізнятися\nодним символом. Unicode свідомо тримає їх окремо, а стандарт консорціуму про\nмеханізми безпеки, UTS #39, описує, як обмежити такі підробки. Там, де ім'я\nідентифікує людину чи одержувача платежу, дозволяйте лише одну писемність в\nімені або перевіряйте ім'я за даними безпеки зі стандарту, перш ніж його\nприйняти.\n\n**Байти читають у неправильному кодуванні.** Якщо текст, збережений в UTF-8,\nпрочитати як windows-1251, `Привіт` перетвориться на `РџСЂРёРІС–С‚`, бо кожну\nкириличну літеру завдовжки два байти буде прочитано як дві однобайтові.\nУкраїнською такий безлад здавна звуть кракозябрами. Слово Unicode не каже, як\nтекст записано байтами; це каже лише форма кодування. Зазначайте її всюди, де\nтекст перетинає межу: у заголовку HTTP, на сторінці, у з'єднанні з базою даних і\nу форматі файлу, а файл без неї вважайте питанням до людини, а не здогадом для\nкоду.\n\n**У відсутньому гліфі звинувачують текст.** Коли літера показується порожнім\nпрямокутником, причина здебільшого в шрифті, у якому немає форми для цієї\nкодової точки, а сам текст цілий. Оскільки Unicode залишає форми шрифтам, кожен\nшрифт, яким користується продукт, мусить покривати всі символи його мов,\nукраїнські Є, І, Ї та Ґ так само, як усю абетку від А до я, інакше браузер\nнамалює їх резервним шрифтом, який знайде. Нотатка вище називає саме це\nпричиною, з якої сайт узагалі віддає кириличні частини: без них українська\nсторінка була б набрана тим шрифтом, який запропонує система. Перевіряйте кожну\nмову з повною абеткою, а не одним зразковим реченням.\n\n**Імена перевіряють за абеткою від A до Z.** Шаблон на кшталт `^[A-Za-z' -]+$`\nпропускає O'Neill і відхиляє Ольгу Ковальчук, Юлію Мар'янчук і Zoë, тобто саме\nті імена, заради яких існує український продукт. Натомість визначайте, чи символ\nє літерою, за його властивостями Unicode: у JavaScript шаблон\n`/^[\\p{L}\\p{M}' -]+$/u` пропускає всі чотири. Апостроф в українському прізвищі\nтрапляється ще у двох написаннях: як U+02BC, який Unicode вважає літерою і\nшаблон пропускає, і як типографський U+2019, який є розділовим знаком і який\nшаблон відхиляє. Тож або додайте U+2019 до шаблону, або зводьте всі три\nнаписання до одного ще до перевірки. Властивості беруться з копії Unicode\nCharacter Database у середовищі виконання. Наприклад, середовище Node.js\n25.2.1, використане для наведених тут прикладів, повідомляє про Unicode 16.0; це\nконкретна збірка, а не гарантія для кожного випуску 25.x. Літери, додані в\nпізніших версіях Unicode, відхилятимуться, доки дані про символи в середовищі\nвиконання не оновлять.\nПеревіряйте імена поблажливо, а складні випадки залишайте людині, не шаблону.\n\n## Що почитати далі\n\n- [About the Unicode Standard](https://www.unicode.org/standard/standard.html)\n  — опис стандарту від самого консорціуму: з чого складається версія і де\n  публікують найновішу.\n- [The Unicode Standard, Chapter 2: General Structure](https://www.unicode.org/versions/Unicode18.0.0/core-spec/chapter-2/)\n  — десять принципів проєктування, кодовий простір, три форми кодування й\n  правила для еквівалентних послідовностей.\n- [Unicode Character Encoding Stability Policies](https://www.unicode.org/policies/stability_policy.html)\n  — що вже ніколи не зміниться після того, як символ закодовано, від кодової\n  точки й назви до нормалізації.\n- [Unicode 18.0.0](https://www.unicode.org/versions/Unicode18.0.0/) — що\n  додає поточна версія і які технічні стандарти отримують нові версії разом із\n  нею, зокрема сортування та безпека.\n- [Node.js: process.versions](https://nodejs.org/api/process.html#processversions)\n  — звіт середовища виконання про версії компонентів; тут він прив'язує\n  приклад із даними Unicode до конкретної збірки Node.js, а не до всієї\n  гілки випусків.\n- [CSS Fonts: character ranges](https://www.w3.org/TR/css-fonts-4/#descdef-font-face-unicode-range)\n  — як оголошені діапазони символів і фактичний набір гліфів шрифту разом\n  визначають, які символи може відтворити накреслення.\n\n\u003chttps://engineer.company/uk/glossary/unicode/\u003e\n","date_modified":"2026-11-09T21:50:25Z","description":"Як Unicode дає кожному символу власний номер, чому одну літеру можна зберегти трьома способами, і шість помилок, що псують імена, довжини та порівняння.","formats":{"gemtext":"https://engineer.company/uk/glossary/unicode/index.gmi","gopher":"https://engineer.company/uk/glossary/unicode/gophermap","html":"https://engineer.company/uk/glossary/unicode/","json":"https://engineer.company/uk/glossary/unicode/index.json","markdown":"https://engineer.company/uk/glossary/unicode/index.md","pdf":"https://engineer.company/uk/glossary/unicode/index.pdf"},"kind":"page","language":"uk","title":"Що таке Unicode?","url":"https://engineer.company/uk/glossary/unicode/","version":1}