Unicode

どのようなものか

Unicodeは、世界の文字体系にある文字、数字、句読点、記号の一つ一つ
に、固有の番号を与える標準です。保守する側は、これを普遍的な文字エン
コーディングと呼びます。現代の言語や技術分野のテキストを、どこでも交
換、処理、表示できるようにし、古い文字体系や歴史上の表記も表せる設計
です。一つの文字集合に、デンマーク語のå、ウクライナ語のҐ、ユーロ記
号、何世紀も使われていない文字が入るため、一つの文書や一つのデータ
ベース列に、すべてを含められます。

厳密には、Unicodeの版は、互いに対応する複数の部分から成ります。中核
の仕様、文字表、附属書、そして各文字の属性を記録する機械可読ファイル
群である文字データベースです。Unicode技術委員会が継続的に保守し、
Unicodeコンソーシアムが公開します。18.0は2026年9月16日に発表されまし
た。

文字に割り当てる番号を、コードポイントと呼びます。コード空間は十六進
の0から10FFFFまで、全部で1,114,112コードポイントあります。表記はU+に
少なくとも四桁の十六進数を続けます。åはU+00E5、ҐはU+0490、ユーロ記号
はU+20ACです。コンソーシアムの安定性方針は、一度符号化した文字の位置
を永久に維持すると約束しています。移動も削除もせず、名前も変えませ
ん。そのため、今日符号化したテキストは、後のどの版でも同じ意味を保ち
ます。

標準を理解する鍵になる区別は二つあります。一つ目は、文字とグリフで
す。Unicodeは抽象的な文字を符号化し、形はフォントに任せます。中核仕
様は、グリフの形はフォント提供元の責任であり、標準には含まれないと明
記しています。同じコードポイントでも書体によって違って見え、対応する
形を持たない書体では描けません。二つ目は、コードポイントと、それを保
存するバイトの区別です。Unicodeの三つの符号化形式UTF-8、UTF-16、
UTF-32は、各コードポイントを8、16、32ビットの一つ以上の単位で書きま
す。仕様は「UTF-8かUnicodeか」と区別しようとすることを落とし穴と呼び
ます。どれも、同じ文字を実装する等しく有効な方法だからです。

なぜ重要なのか

Unicode以前は、文字体系ごとにコードページがあり、どのページかが分か
らなければ、一つのバイトにも意味が定まりませんでした。西欧の
windows-1252では、バイトE5はåです。キリル文字のwindows-1251では、同
じバイトがеです。一方のページには、もう一方の文字を入れられません。
windows-1251にはҐがありますがå、æ、øはなく、windows-1252はその逆で
す。デンマーク語とウクライナ語の製品には、二つの符号化方式と、どのテ
キストがどちらかを示す確かな記録が必要でした。両言語を引用する一文
は、どちらの方式にも収まりませんでした。

Unicodeは、その管理を不要にしました。製品が公開するどの言語も、顧客
がフォームに入力するどの名前も、一つの文字集合で表せます。同じ番号
は、読むシステムが違っても同じ文字を意味します。そのため、データベー
ス、API、ブラウザーは、先にコードページを取り決めずにテキストを受け
渡せます。

各プログラムが独自に決めるはずだったことも、標準が定めています。言語
をまたいで文字を統一します。コンマは、英語のように千の区切りを示して
も、フランス語のように小数を区切っても、同じ文字です。意味を決めるの
はコードポイントではなくロケールです。一方、文字体系をまたいでは統一
しません。ラテン文字のo、キリル文字のо、ギリシャ文字のοは、多くの書
体で同じに見えても三つの文字です。三つの文字体系に属し、以前の符号化
方式でも区別されていたからです。また、どの並びが等価かも記録します。
Åは、合成済みの一文字でも、Aに上付きの丸を表す結合文字を続けた並びで
も保存できます。標準は両者を正準等価と定め、同じように表示・解釈され
るものとし、いずれも共通の一つの表現へ変える正規化形式を提供します。

この汎用性には代償があり、プログラマーが払います。文字はバイトではあ
りません。また、文字列上の一単位や、読者が一文字と数える単位と常に一
致するわけでもありません。この三つを同じだと扱うコードは、英語のデー
タではテストを通り、そのコードを使う人の名前、住所、メッセージで失敗
します。

実際の活用例

JavaScriptでは、層の違いが見えます。文字列はUTF-16コード単位の列で、
配列へ展開するとコードポイントに分かれます。

```js
const hex = (n) => n.toString(16).toUpperCase().padStart(4, "0");
for (const text of ["a", "å", "Ґ", "€", "𐌂"]) {
  const points = [...text].map((c) => "U+" + hex(c.codePointAt(0)));
  console.log(text, points.join(" "), text.length, [...text].length);
}
```

Node.js 25で動かすと、各文字、そのコードポイント、UTF-16単位での長
さ、コードポイント数が出ます。

```text
a U+0061 1 1
å U+00E5 1 1
Ґ U+0490 1 1
€ U+20AC 1 1
𐌂 U+10302 2 1
```

最後の行は古イタリア文字です。コードポイントがU+FFFFを超えるため、
UTF-16ではサロゲートペアという二つの単位で保存し、`length`は一文字に
対して2を返します。

等価性も同じように確認できます。次の三つの文字列は、いずれもÅと表示
されます。

```js
const forms = ["\u00C5", "A\u030A", "\u212B"];
console.log("form length equal NFC");
for (const [i, s] of forms.entries()) {
  console.log(i + 1, s.length, s === forms[0], s.normalize("NFC") === forms[0]);
}
```

```text
form length equal NFC
1 1 true true
2 2 false true
3 1 false true
```

一つ目は、合成済み文字U+00C5です。二つ目は、通常のAに、上付きの丸を
表す結合文字U+030Aを続けたものです。三つ目はオングストローム記号
U+212Bで、Unicode文字データベースではU+00C5に対応付けられています。
そのまま比較すると別々の三つの文字列ですが、NFCで正規化すると同じ一
つになります。画面上では見分けられないので、元の文字列を比較する検
索、一意インデックス、ログイン処理には、三つの別名として映ります。

このサイトは、もっと目立たない場所でもコードポイントに依存していま
す。すべての文字を横切った下線についてのノートは、本文用Ubuntuのラテ
ン文字とキリル文字のフォントを、ラテン三ウェイト、キリル三ウェイトの
計六つの書体ファイルとして説明しています。ウクライナ語のページも英語
と同じ書体で組むためです。各ファイルは、対応する文字の範囲を宣言しま
す。その範囲が、ページの文字に対するフォント選択を導きます。明示的な
プリロードは、通常のフォント検出より先にファイルを要求することもあり
ます。キリル文字の宣言は、範囲をコードポイントで示します。

```text
unicode-range: U+0400-045F, U+0490-0491;
```

最初の範囲はЀからџまでで、基本キリル文字のほか、ウクライナ語のЄ、І、
Їも含みます。二つ目はҐとґだけで、キリル文字ブロック内の、さらに後ろ
の位置にあります。範囲は、その文字にどのフェイスを選択できるかを宣言
しますが、フォント自体にもグリフが必要です。一つの文字体系のファイル
しか取得しないという保証ではありません。英語とデンマーク語の本文はラ
テン文字のフェイスを使いますが、ウクライナ語の言語ラベルにはキリル文
字が必要になることがあります。さらにサイトは、非キリル文字のページで
も、画面表示用に細いウェイトのキリル文字本文フォントを明示的にプリ
ロードします。

問題が起きるところ

長さをコード単位で数える。
JavaScriptの`length`はUTF-16単位を数えるので、𐌂は二つになり、Aに上付
きの丸を表す結合文字を付けたものも、人には一文字に見えますが二単位と
数えられます。単位数の制限では、収まるはずのテキストを拒否し、固定位
置での切断は文字を分断することがあります。`"A\u030A".slice(0,
1)`はAを残して上付きの丸を捨てます。𐌂を半分で切ると、サロゲートが片
方だけ残り、UTF-8エンコーダーは置換文字U+FFFDに変えます。各上限が何
を数えるかを決めます。保存容量の制限ならバイト、人が決める制限なら読
者が見た文字です。`Intl.Segmenter`は後者を数え、上付きの丸の結合文字
を使ったÅrhusでは、`length`が6を返すところで5を返します。テキスト
は、それが示す境界でだけ切ります。

同じテキストを、単位ごとに比較する。
上の三種類のÅは、`===`、ハッシュ、一意インデックスには異なる三つの文
字列です。顧客が同じ名前を二度登録できたり、入力した題名で文書が見つ
からなかったりします。システムの入口でNFCに正規化し、正規化した状態
で保存し、正規化後の形を比較します。安定性方針は、ある版で正規化した
文字列が、後の版でも正規化済みであり続けると保証します。ただし、その
文字列には、元の版が知る文字だけを含む必要があります。そのため、正規
化コードも扱うテキストに見合う新しさが必要です。

似た文字を同じものとして通す。
ラテン文字のo、キリル文字のо、ギリシャ文字のοは別のコードポイントで
すが、多くの書体は似た形で描きます。アカウント名や製品コードが、見た
目は同じでも一文字だけ違うことがあります。Unicodeは意図して区別して
おり、セキュリティー機構の標準UTS
i#39が、この種のなりすましを減らす方法を示しています。人や受取人を識		engineer.company	70
i別する名前では、一つの名前に一つの文字体系だけを認めるか、受け付ける		engineer.company	70
i前に標準のセキュリティーデータと照合します。		engineer.company	70

バイトを別の符号化方式で読む。
UTF-8で保存したテキストをwindows-1252で読むと、blåbærはblÃ¥bÃ¦rにな
ります。二バイトの文字を、それぞれ一バイトの二文字として読むためで
す。Unicodeという言葉だけでは、バイトをどう書いたかは分かりません。
それを示すのは符号化形式です。テキストが境界を通る場所では、HTTPヘッ
ダー、ページ、データベース接続、ファイル形式に明記します。符号化方式
が示されていないファイルは、コードに推測させず、人に確認する問題とし
て扱います。

グリフがないのに、テキストを疑う。
文字が空の四角で表示される場合、通常はそのコードポイントの形をフォン
トが持たないのであり、テキスト自体は壊れていません。形をフォントに任
せるUnicodeでは、製品が使う各書体が、言語に必要な文字をすべて含む必
要があります。Аからяだけでなく、Є、І、Ї、Ґも必要で、なければブラウ
ザーは見つけた代替フォントで描きます。上のノートは、キリル文字を配信
する理由をここに求めています。なければウクライナ語のページは、システ
ムが提供する書体に頼ります。例文だけでなく、言語の全アルファベットで
テストします。

名前をAからZだけで検査する。 `^[A-Za-z' -]+$`のようなパターンは
O'Neillを受け付け、Søren
Ågård、Zoë、Ґалаґанを拒否します。デンマーク語やウクライナ語の製品が
対象にしている、まさにその人たちの名前です。代わりにUnicode属性で文
字を調べます。JavaScriptの`/^[\p{L}\p{M}'
i-]+$/u`なら四つとも通ります。この属性は、実行環境に含まれるUnicode文		engineer.company	70
i字データベースのコピーに由来します。たとえば、この例に使ったNode.js		engineer.company	70
25.2.1はUnicode
16.0と報告します。一つのビルドについての値であり、25.x全体の保証では
ありません。後のUnicodeで加わった文字は、実行環境の文字データが更新
されるまで、この検査に通りません。名前の検証は緩やかにし、難しい例は
パターンではなく人が判断できるようにします。

参考資料

  * Unicode標準について —
標準の内容、一つの版を構成するもの、最新版の公開場所について、コン
ソーシアム自身が説明しています。

  * Unicode標準、第2章：全体構造 — 十の設計原則、コード空間、三つの
符号化形式、等価な並びの規則を扱います。

  * Unicode文字エンコーディングの安定性方針 —
文字の符号化後に変えてはならないものを、コードポイント、名前、正規化
まで説明しています。

  * Unicode 18.0.0 — 現行版の追加内容と、照合やセキュリティーなど、
同時に版管理される技術標準です。

  * Node.js：process.versions —
実行環境の各構成要素の版を示す報告です。ここではUnicodeデータの例
を、リリース系列全体ではなく、一つのNode.jsビルドに固定するために使
います。

  * CSS Fonts：文字の範囲 —
宣言した文字範囲と、フォントが実際に持つグリフの両方が、そのフェイス
で描ける文字を決める仕組みを説明しています。

hこのページのウェブ版	URL:https://engineer.company/ja/glossary/unicode/	engineer.company	70
