# Unicode

## Was es ist

Unicode ist der Standard, der jedem Buchstaben, jeder Ziffer, jedem Satzzeichen und jedem Symbol der Schriftsysteme der Welt eine eigene Nummer gibt. Seine Betreuer bezeichnen ihn als universelle Zeichenkodierung: entworfen, damit Texte in den Sprachen und technischen Fachgebieten der modernen Welt überall ausgetauscht, verarbeitet und angezeigt werden können, und zugleich fähig, ältere Schriftsysteme und historische Schriftzeugnisse darzustellen. Ein einziges Repertoire enthält das dänische å, das ukrainische Ґ, das Eurozeichen und Buchstaben von Schriften, in denen seit Jahrhunderten niemand mehr schreibt. So kann ein einzelnes Dokument oder eine einzelne Datenbankspalte sie alle enthalten.

Genau genommen umfasst eine Unicode-Version mehrere aufeinander abgestimmte Teile: die Kernspezifikation, Zeichentabellen, Anhänge und eine Zeichendatenbank aus maschinenlesbaren Dateien mit den Eigenschaften jedes Zeichens. Das Unicode Technical Committee pflegt den Standard fortlaufend, das Unicode Consortium veröffentlicht ihn, und Version 18.0 wurde am 16. September 2026 angekündigt.

Die Nummer eines Zeichens ist sein Codepunkt. Der Coderaum reicht von 0 bis hexadezimal 10FFFF, insgesamt 1.114.112 Codepunkte. Geschrieben wird ein Codepunkt als U+ mit mindestens vier Hexadezimalziffern dahinter: å ist U+00E5, Ґ ist U+0490 und das Eurozeichen U+20AC. Die Stabilitätsrichtlinie des Konsortiums verspricht einem kodierten Zeichen einen dauerhaften Platz: Es wird nie verschoben oder entfernt, und sein Name ändert sich nie. Heute kodierter Text bedeutet deshalb in jeder späteren Version dasselbe.

Zwei Unterscheidungen sind für das Verständnis des Standards entscheidend. Die erste trennt Zeichen und Glyphe. Unicode kodiert das Zeichen, den abstrakten Buchstaben, und überlässt seine Form der Schriftart: Laut Kernspezifikation sind Glyphenformen Sache der Schrifthersteller und kein Bestandteil des Standards. Derselbe Codepunkt kann in zwei Schriftarten unterschiedlich aussehen; eine Schriftart ohne passende Form kann ihn überhaupt nicht zeichnen. Die zweite Unterscheidung trennt den Codepunkt von den Bytes, die ihn speichern. Die drei Unicode-Kodierungsformen UTF-8, UTF-16 und UTF-32 schreiben jeden Codepunkt als eine oder mehrere Einheiten von 8, 16 oder 32 Bit. Die Spezifikation bezeichnet den Versuch, „UTF-8 gegenüber Unicode“ abzugrenzen, als Falle: Alle drei sind gleichwertige Möglichkeiten, dieselben Zeichen zu implementieren.

## Warum es wichtig ist

Vor Unicode hatte jede Schrift eigene Codeseiten, und ein Byte bedeutete nichts, solange die verwendete Seite unbekannt war. In der westeuropäischen Codeseite windows-1252 steht das Byte E5 für å, in der kyrillischen windows-1251 steht dasselbe Byte für den Buchstaben е. Keine Seite konnte die Buchstaben der anderen aufnehmen: windows-1251 hat Ґ und kein å, æ oder ø, windows-1252 umgekehrt. Ein Produkt auf Dänisch und Ukrainisch brauchte zwei Kodierungen und eine verlässliche Zuordnung des Textes zur jeweiligen Kodierung. Ein Satz mit Zitaten in beiden Sprachen passte in keine von beiden.

Unicode beseitigte diese Buchführung. Jede Sprache, in der ein Produkt veröffentlicht wird, und jeder Name, den ein Kunde in ein Formular eingibt, passen in einen Zeichensatz. Dieselbe Nummer bedeutet auf jedem lesenden System dasselbe Zeichen. Dadurch können Datenbank, API und Browser Text austauschen, ohne sich zuerst auf eine Codeseite zu einigen.

Der Standard klärt auch Fragen, die sonst jedes Programm auf seine Weise lösen würde. Er vereinheitlicht Zeichen über Sprachen hinweg: Das Komma ist ein Zeichen, ob es wie im Englischen Tausendergruppen trennt oder wie im Französischen als Dezimalzeichen dient. Die Bedeutung kommt also von der Locale, nicht vom Codepunkt. Über Schriftgrenzen hinweg vereinheitlicht er nicht: Das lateinische o, das kyrillische о und das griechische ο sehen in den meisten Schriftarten gleich aus und sind drei Zeichen, weil sie zu drei Schriften gehören und ältere Kodierungen sie bereits getrennt hielten. Außerdem hält er fest, welche Folgen äquivalent sind. Å kann als ein vorkomponiertes Zeichen gespeichert werden oder als A mit einem folgenden kombinierenden Ring. Der Standard definiert beide als kanonisch äquivalent, gleich anzuzeigen und zu interpretieren. Normalisierungsformen überführen beide in eine vereinbarte Schreibweise.

Diese Allgemeinheit hat ihren Preis, und ihn zahlt die programmierende Person. Ein Zeichen ist kein Byte, nicht immer eine Einheit eines Strings und nicht immer das, was Leser als einen Buchstaben zählen. Code, der diese drei Dinge gleichsetzt, besteht Tests mit englischen Daten und scheitert an Namen, Adressen und Nachrichten der Menschen, für die er geschrieben wurde.

## Wie es in der Praxis aussieht

JavaScript macht die Schichten sichtbar. Ein String ist eine Folge von UTF-16-Codeeinheiten; das Aufteilen in ein Array mit dem Spread-Operator zerlegt ihn in Codepunkte:

```js
const hex = (n) => n.toString(16).toUpperCase().padStart(4, "0");
for (const text of ["a", "å", "Ґ", "€", "𐌂"]) {
  const points = [...text].map((c) => "U+" + hex(c.codePointAt(0)));
  console.log(text, points.join(" "), text.length, [...text].length);
}
```

In Node.js 25 ausgeführt, gibt das Programm jedes Zeichen, seinen Codepunkt, seine Länge in UTF-16-Einheiten und seine Länge in Codepunkten aus:

```text
a U+0061 1 1
å U+00E5 1 1
Ґ U+0490 1 1
€ U+20AC 1 1
𐌂 U+10302 2 1
```

Die letzte Zeile zeigt einen altitalischen Buchstaben. Sein Codepunkt liegt jenseits von U+FFFF, weshalb UTF-16 ihn als zwei Einheiten, ein Surrogatpaar, speichert. `length` meldet somit 2 für ein einziges Zeichen.

Äquivalenz wird auf dieselbe Weise sichtbar. Diese drei Strings werden alle als Å angezeigt:

```js
const forms = ["\u00C5", "A\u030A", "\u212B"];
console.log("form length equal NFC");
for (const [i, s] of forms.entries()) {
  console.log(i + 1, s.length, s === forms[0], s.normalize("NFC") === forms[0]);
}
```

```text
form length equal NFC
1 1 true true
2 2 false true
3 1 false true
```

Der erste ist der vorkomponierte Buchstabe U+00C5. Der zweite ist ein einfaches A, gefolgt von U+030A, dem kombinierenden Ring darüber. Der dritte ist U+212B, das Angströmzeichen, das die Unicode-Zeichendatenbank auf U+00C5 abbildet. Unverändert verglichen sind es drei verschiedene Strings; nach der Normalisierung nach NFC sind alle drei derselbe. Auf dem Bildschirm unterscheidet sie nichts. Eine Suche, ein eindeutiger Index oder eine Anmeldung, die rohe Strings vergleicht, sieht deshalb drei verschiedene Namen.

Diese Website hängt an einer weniger sichtbaren Stelle von Codepunkten ab. Die Notiz über die Unterstreichung, die jeden Buchstaben durchzog beschreibt die lateinischen und kyrillischen Ubuntu-Schriften für den Fließtext als sechs Schnitte, drei Strichstärken für Lateinisch und drei für Kyrillisch. So wird eine ukrainische Seite in derselben Schriftart gesetzt wie eine englische. Jeder Schnitt deklariert seinen Zeichenbereich. Diese Bereiche steuern die Schriftauswahl für die Zeichen auf der Seite; ein ausdrücklicher Preload kann außerdem eine Datei anfordern, bevor die normale Schriftermittlung beginnt. Die kyrillische Deklaration gibt ihren Bereich in Codepunkten an:

```text
unicode-range: U+0400-045F, U+0490-0491;
```

Der erste Bereich reicht von Ѐ bis џ und enthält neben dem übrigen kyrillischen Grundalphabet das ukrainische Є, І und Ї. Der zweite enthält nur Ґ und ґ, die weiter hinten im kyrillischen Block stehen. Die Bereiche deklarieren, welcher Schriftschnitt für ein Zeichen infrage kommt; die Schriftdatei muss aber auch dessen Glyphe enthalten. Sie garantieren nicht, dass eine Seite nur Dateien eines einzigen Schriftsystems lädt. Englische und dänische Texte verwenden die lateinischen Schnitte, doch die ukrainische Sprachbezeichnung kann einen kyrillischen Schnitt benötigen. Die Website lädt den leichten kyrillischen Fließtextschnitt auf nichtkyrillischen Seiten für die Bildschirmausgabe ausdrücklich vor.

## Wo es schiefgeht

Die Länge wird in Codeeinheiten gezählt. JavaScripts `length` zählt UTF-16-Einheiten. Deshalb zählt 𐌂 als zwei und ein A mit kombinierendem Ring ebenfalls als zwei, obwohl ein Leser einen Buchstaben sieht. Eine Grenze in Einheiten weist Text zurück, der eigentlich hineinpasst. Ein Schnitt an einer festen Position kann ein Zeichen zerlegen: `"A\u030A".slice(0, 1)` behält das A und entfernt den Ring. Wird 𐌂 halbiert, bleibt ein einzelnes Surrogat zurück, das der UTF-8-Kodierer durch U+FFFD, das Ersatzzeichen, ersetzt. Für jede Grenze muss feststehen, was sie zählt: Bytes, wenn der Speicher die Grenze setzt, und Zeichen aus Lesersicht, wenn ein Mensch sie setzt. `Intl.Segmenter` zählt Letztere und liefert für Århus mit kombinierendem Ring 5, wo `length` 6 liefert. Text sollte nur an den gemeldeten Grenzen abgeschnitten werden.

Gleicher Text wird Einheit für Einheit verglichen. Die drei Formen von Å oben sind für `===`, einen Hash und einen eindeutigen Index drei verschiedene Strings. Ein Kunde kann deshalb denselben Namen zweimal registrieren oder ein Dokument nicht über den eingegebenen Titel finden. Text sollte beim Eintritt ins System nach NFC normalisiert, normalisiert gespeichert und in normalisierter Form verglichen werden. Die Stabilitätsrichtlinie garantiert, dass ein unter einer Version normalisierter String auch unter jeder späteren normalisiert bleibt, sofern er nur Zeichen enthält, die die ursprüngliche Version kennt. Der normalisierende Code muss also so aktuell sein wie der Text.

Ähnlich aussehende Zeichen gelten als gleich. Das lateinische o, das kyrillische о und das griechische ο sind verschiedene Codepunkte, die die meisten Schriftarten gleich zeichnen. Zwei Kontonamen oder Produktcodes können daher identisch aussehen und sich in einem Zeichen unterscheiden. Unicode hält sie absichtlich getrennt; sein Standard für Sicherheitsmechanismen UTS #39 beschreibt, wie sich solche Täuschungen verringern lassen. Wenn ein Name eine Person oder einen Zahlungsempfänger identifiziert, sollte pro Name nur ein Schriftsystem zugelassen oder der Name vor der Annahme gegen die Sicherheitsdaten des Standards geprüft werden.

Bytes werden mit der falschen Kodierung gelesen. Als UTF-8 gespeicherter und als windows-1252 gelesener Text macht aus blåbær blÃ¥bÃ¦r, weil jeder Zwei-Byte-Buchstabe als zwei Ein-Byte-Zeichen gelesen wird. Das Wort Unicode sagt nicht, wie die Bytes geschrieben wurden; das sagt erst die Kodierungsform. Sie sollte überall deklariert werden, wo Text eine Grenze überschreitet: im HTTP-Header, in der Seite, auf der Datenbankverbindung und im Dateiformat. Eine Datei ohne diese Angabe ist eine Frage an einen Menschen statt eine Gelegenheit für den Code zu raten.

Eine fehlende Glyphe wird dem Text angelastet. Erscheint ein Buchstabe als leeres Kästchen, fehlt der Schrift meist die Form für diesen Codepunkt; der Text selbst ist intakt. Weil Unicode die Formen den Schriftarten überlässt, muss jede Schriftart eines Produkts alle Zeichen abdecken, die dessen Sprachen brauchen: Є, І, Ї und Ґ ebenso wie А bis я. Andernfalls zeichnet der Browser sie mit irgendeiner verfügbaren Ersatzschrift. Die obige Notiz nennt das als Grund, überhaupt Kyrillisch auszuliefern: Ohne diese Schnitte fiele eine ukrainische Seite auf das zurück, was das System bietet. Jede Sprache sollte mit ihrem vollständigen Alphabet getestet werden statt mit einem Beispielsatz.

Namen werden gegen A bis Z geprüft. Ein Muster wie `^[A-Za-z' -]+$` akzeptiert O'Neill und weist Søren Ågård, Zoë und Ґалаґан zurück, genau die Namen, für die ein dänisches oder ukrainisches Produkt da ist. Stattdessen sollte anhand der Unicode-Eigenschaften auf Buchstaben geprüft werden: In JavaScript akzeptiert `/^[\p{L}\p{M}' -]+$/u` alle vier. Diese Eigenschaften stammen aus der Kopie der Unicode-Zeichendatenbank in der Laufzeitumgebung. Die hier für die Beispiele verwendete Node.js-25.2.1-Laufzeit meldet zum Beispiel Unicode 16.0. Das gilt für diesen konkreten Build, nicht garantiert für jede Version von 25.x. In späteren Unicode-Versionen hinzugefügte Buchstaben bestehen die Prüfung erst, wenn die Zeichendaten der Laufzeitumgebung aktualisiert wurden. Namen sollten großzügig validiert und schwierige Fälle von einem Menschen statt von einem Muster entschieden werden.

## Weiterführende Lektüre
* About the Unicode Standard — die Beschreibung des Konsortiums selbst: der Standard, die Bestandteile einer Version und der Veröffentlichungsort der neuesten Version.
* The Unicode Standard, Chapter 2: General Structure — die zehn Entwurfsprinzipien, der Coderaum, die drei Kodierungsformen und die Regeln für äquivalente Folgen.
* Unicode Character Encoding Stability Policies — was sich nach der Kodierung eines Zeichens nie mehr ändern darf, von Codepunkt und Namen bis zur Normalisierung.
* Unicode 18.0.0 — die Ergänzungen der aktuellen Version und die gemeinsam versionierten technischen Standards, darunter Sortierung und Sicherheit.
* Node.js: process.versions — der Bericht über Komponentenversionen der Laufzeitumgebung, mit dem das Beispiel der Unicode-Daten hier an einen Node.js-Build statt an eine ganze Versionsreihe gebunden wird.
* CSS Fonts: character ranges — wie deklarierte Zeichenbereiche zusammen mit der tatsächlichen Glyphenabdeckung einer Schriftdatei bestimmen, welche Zeichen ein Schnitt darstellen kann.

=> /de/notes/safari-underline-font-subset/ die Unterstreichung, die jeden Buchstaben durchzog
=> https://www.unicode.org/standard/standard.html About the Unicode Standard
=> https://www.unicode.org/versions/Unicode18.0.0/core-spec/chapter-2/ The Unicode Standard, Chapter 2: General Structure
=> https://www.unicode.org/policies/stability_policy.html Unicode Character Encoding Stability Policies
=> https://www.unicode.org/versions/Unicode18.0.0/ Unicode 18.0.0
=> https://nodejs.org/api/process.html#processversions Node.js: process.versions
=> https://www.w3.org/TR/css-fonts-4/#descdef-font-face-unicode-range CSS Fonts: character ranges

=> https://engineer.company/de/glossary/unicode/ Diese Seite im Web
