{"canonical_url":"https://engineer.company/nb/glossary/unicode/","content_markdown":"# Unicode\n\n## Hva det er\n\nUnicode er standarden som gir hver bokstav, hvert siffer, hvert skilletegn og\nhvert symbol i verdens skriftsystemer sitt eget nummer. Ifølge dem som\nvedlikeholder standarden, er Unicode den universelle tegnkodingen: laget for at\ntekst på den moderne verdens språk og i dens tekniske fagfelt skal kunne\nutveksles, behandles og vises hvor som helst, og utvidet til de klassiske og\nhistoriske tekstene på mange skriftspråk. Ett og samme repertoar rommer den\nnorske å, den ukrainske Ґ, eurotegnet og bokstavene i skrifter ingen har skrevet\npå i århundrer, slik at ett enkelt dokument eller én enkelt kolonne i en\ndatabase kan inneholde alle sammen.\n\nFormelt består en versjon av Unicode-standarden av kjernespesifikasjonen,\nkodetabellene, standardens vedlegg, Unicode Standard Annexes, og Unicode\nCharacter Database, de maskinlesbare filene som beskriver egenskapene til hvert\ntegn. Unicode Technical Committee vedlikeholder standarden løpende,\nUnicode-konsortiet gir den ut, og versjon 18.0 ble kunngjort 16. september 2026.\n\nNummeret et tegn får, kalles kodepunktet. Koderommet går fra 0 til 10FFFF\nheksadesimalt, 1 114 112 kodepunkter i alt, og et kodepunkt skrives som U+ fulgt\nav minst fire heksadesimale sifre: å er U+00E5, Ґ er U+0490, og eurotegnet er\nU+20AC. Konsortiets stabilitetsregler lover at et tegn aldri flyttes eller\nfjernes når det først er kodet, og at navnet aldri endres, så tekst som kodes i\ndag, betyr det samme i alle senere versjoner.\n\nTo skiller bærer det meste av standarden. Det første går mellom tegn og glyf.\nUnicode koder tegnet, den abstrakte bokstaven, og overlater formen til fonten:\nkjernespesifikasjonen slår fast at glyfenes utseende er fontleverandørenes\nansvar og ikke en del av standarden. Det samme kodepunktet kan se forskjellig ut\ni to skrifttyper, og en skrifttype uten en form for det kan ikke tegne det i det\nhele tatt. Det andre skillet går mellom kodepunktet og bytene som lagrer det.\nUnicode definerer tre kodingsformer, UTF-8, UTF-16 og UTF-32, som skriver hvert\nkodepunkt som én eller flere enheter på 8, 16 eller 32 bit, og spesifikasjonen\nkaller det en felle å gjøre det til et spørsmål om «UTF-8 versus Unicode»: alle\ntre er like gyldige måter å implementere de samme tegnene på.\n\n## Hvorfor det er viktig\n\nFør Unicode hadde hver skrift sine egne kodesider, og en byte betydde ingenting\nfør man visste hvilken side som var i bruk. I den vesteuropeiske kodesiden\nwindows-1252 er byten E5 en å; i den kyrilliske windows-1251 er den samme byten\nbokstaven е. Ingen av sidene kunne romme den andres bokstaver: windows-1251 har\nҐ, men verken å, æ eller ø, og i windows-1252 er det omvendt. Et produkt på\nnorsk og ukrainsk trengte to kodinger og full oversikt over hvilken tekst som\nbrukte hvilken, og en setning som siterte begge språkene, fikk ikke plass i noen\nav kodingene.\n\nUnicode gjorde den bokføringen overflødig. Alle språkene et produkt publiseres\npå, og alle navnene en kunde skriver inn i et skjema, får plass i ett tegnsett,\nog det samme nummeret betyr det samme tegnet på alle systemer som leser det. Det\ner det som lar en database, et API og en nettleser sende tekst seg imellom uten\nførst å bli enige om en kodeside.\n\nStandarden avgjør også spørsmål som ellers ville blitt avgjort ulikt i hvert\neneste program. Den slår sammen tegn på tvers av språk: kommaet er ett tegn\nenten det skiller tusener, som på engelsk, eller desimaler, som på norsk, så det\ner språket og konvensjonene, ikke kodepunktet, som avgjør betydningen. Den slår\nikke sammen tegn på tvers av skrifter: den latinske o, den kyrilliske о og den\ngreske ο ser like ut i de fleste skrifttyper og er tre tegn, fordi de hører til\ntre skrifter og eldre kodinger allerede holdt dem atskilt. Og den fastsetter\nhvilke sekvenser som er ekvivalente. Å kan lagres som ett ferdig sammensatt tegn\neller som A fulgt av en kombinerende ring, og standarden definerer de to som\nkanonisk ekvivalente, slik at de skal vises og tolkes likt, med\nnormaliseringsformer som fører begge over i én avtalt skrivemåte.\n\nDen bredden har en pris, og det er programmereren som betaler den. Et tegn er\nikke en byte, ikke alltid én enhet i en streng og ikke alltid det en leser\nteller som én bokstav. Kode som behandler de tre som det samme, består testene\nsine med engelske data og feiler på navnene, adressene og meldingene til nettopp\nde menneskene den ble skrevet for.\n\n## Slik ser det ut i praksis\n\nJavaScript gjør lagene synlige. En streng er en rekke UTF-16-kodeenheter, og\nsprer man den ut i en array, deles den opp i kodepunkter:\n\n```js\nconst hex = (n) =\u003e n.toString(16).toUpperCase().padStart(4, \"0\");\nfor (const text of [\"a\", \"å\", \"Ґ\", \"€\", \"𐌂\"]) {\n  const points = [...text].map((c) =\u003e \"U+\" + hex(c.codePointAt(0)));\n  console.log(text, points.join(\" \"), text.length, [...text].length);\n}\n```\n\nKjørt i Node.js 25 skriver koden ut hvert tegn, kodepunktet, lengden i\nUTF-16-enheter og lengden i kodepunkter:\n\n```text\na U+0061 1 1\nå U+00E5 1 1\nҐ U+0490 1 1\n€ U+20AC 1 1\n𐌂 U+10302 2 1\n```\n\nDen siste linjen er en gammelitalisk bokstav. Kodepunktet ligger over U+FFFF, så\nUTF-16 lagrer den som to enheter, et surrogatpar, og `length` melder 2 for det\nsom er ett tegn.\n\nEkvivalens viser seg på samme måte. Her er tre strenger som alle vises som Å:\n\n```js\nconst forms = [\"\\u00C5\", \"A\\u030A\", \"\\u212B\"];\nconsole.log(\"form length equal NFC\");\nfor (const [i, s] of forms.entries()) {\n  console.log(i + 1, s.length, s === forms[0], s.normalize(\"NFC\") === forms[0]);\n}\n```\n\n```text\nform length equal NFC\n1 1 true true\n2 2 false true\n3 1 false true\n```\n\nDen første er den ferdig sammensatte bokstaven, U+00C5. Den andre er en vanlig A\nfulgt av U+030A, den kombinerende ringen over. Den tredje er U+212B,\nångstrømtegnet, som Unicode Character Database fører tilbake til U+00C5.\nSammenlignet som de er, er de tre ulike strenger; etter normalisering til NFC er\nalle tre den samme. Ingenting på skjermen skiller dem fra hverandre, så et søk,\nen unik indeks eller en innlogging som sammenligner de rå strengene, ser tre\nforskjellige navn.\n\nOgså dette nettstedet er avhengig av kodepunkter, bare et mindre synlig sted.\nNotatet om\n[understrekingen som krysset hver bokstav](/nb/notes/safari-underline-font-subset/)\nbeskriver nettstedets latinske og kyrilliske Ubuntu-skrifter for brødtekst som\nseks snitt, tre vekter med latinske tegn og tre med kyrilliske, slik at en\nukrainsk side settes i samme skrifttype som en engelsk. Hvert snitt oppgir\nhvilket tegnområde det dekker. Områdene styrer valget av skrift for tegnene på\nsiden; en uttrykkelig forhåndsinnlasting kan også be om en fil før nettleseren\nellers oppdager skriften. Den kyrilliske deklarasjonen oppgir området sitt i\nkodepunkter:\n\n```text\nunicode-range: U+0400-045F, U+0490-0491;\n```\n\nDet første området går fra Ѐ til џ og rommer de ukrainske Є, І og Ї sammen med\nresten av det grunnleggende kyrilliske alfabetet. Det andre rommer bare Ґ og ґ,\nsom ligger lenger ut i den kyrilliske blokken. Tegnområdene oppgir hvilket skriftsnitt som kan velges for et tegn, men\nskriften må også inneholde tegnets glyf. De garanterer ikke at en side henter\nfiler for bare ett skriftsystem. Engelsk og dansk tekst bruker de latinske\nsnittene, men den ukrainske språketiketten kan kreve et kyrillisk snitt, og\nnettstedet forhåndslaster uttrykkelig det lette kyrilliske brødtekstsnittet på\nikke-kyrilliske sider for skjermvisning.\n\n## Hvor det går galt\n\n**Lengden telles i kodeenheter.** JavaScripts `length` teller UTF-16-enheter, så\n𐌂 teller som to, og en A med kombinerende ring teller som to der en leser ser én\nbokstav. En grense som håndheves i enheter, avviser tekst som får plass, og et\nkutt ved en fast posisjon kan dele et tegn: `\"A\\u030A\".slice(0, 1)` beholder\nA-en og mister ringen, og deler man 𐌂 på midten, står man igjen med et enslig\nsurrogat som UTF-8-koderen erstatter med U+FFFD, erstatningstegnet. Bestem for\nhver grense hva den teller: byte der det er lagringen som setter grensen, og\ntegn slik leseren ser dem der det er et menneske som gjør det. `Intl.Segmenter`\nteller på den siste måten, og for Ålesund skrevet med kombinerende ring gir\nden 7 der `length` gir 8. Klipp tekst bare ved grensene den melder.\n\n**Lik tekst sammenlignes enhet for enhet.** De tre formene av Å ovenfor er tre\nulike strenger for `===`, for en hashfunksjon og for en unik indeks, så en kunde\nkan registrere det samme navnet to ganger eller ikke finne et dokument ut fra\ntittelen vedkommende skrev. Normaliser tekst til NFC der den kommer inn i\nsystemet, lagre den normalisert, og sammenlign normaliserte former.\nStabilitetsreglene garanterer at en streng som er normalisert under én versjon,\nforblir normalisert under alle senere, forutsatt at strengen bare inneholder\ntegn som den versjonen kjenner, så koden som normaliserer, må være like ny som\nteksten.\n\n**Tegn som ligner hverandre, går for å være like.** Den latinske o, den\nkyrilliske о og den greske ο er ulike kodepunkter som de fleste skrifttyper\ntegner likt, så to kontonavn eller to varenumre kan se identiske ut og skille\nseg i ett eneste tegn. Unicode holder dem bevisst atskilt, og konsortiets\nstandard for sikkerhetsmekanismer, UTS #39, beskriver hvordan slik forfalskning\nkan begrenses. Der et navn identifiserer en person eller en betalingsmottaker,\nbør du tillate bare én skrift per navn eller sjekke navnet mot standardens\nsikkerhetsdata før det godtas.\n\n**Byte leses med feil koding.** Tekst som er lagret som UTF-8 og leses som\nwindows-1252, gjør blåbær til blÃ¥bÃ¦r, fordi hver bokstav på to byte leses som\nto bokstaver på én byte hver. Ordet Unicode sier ikke hvordan bytene ble\nskrevet; det gjør bare kodingsformen. Oppgi den overalt der tekst krysser en\ngrense, i HTTP-headeren, på siden, på databaseforbindelsen og i filformatet, og\nbehandle en fil som kommer uten, som et spørsmål til et menneske og ikke som en\ngjetning for koden.\n\n**Teksten får skylden for en manglende glyf.** Når en bokstav vises som en tom\nfirkant, er årsaken som regel en skrifttype uten en form for det kodepunktet, og\nselve teksten er intakt. Fordi Unicode overlater formene til skrifttypene, må\nhver skrifttype et produkt bruker, dekke alle tegnene språkene trenger, de\nukrainske Є, І, Ї og Ґ like så vel som А til я, ellers tegner nettleseren dem\nmed den reserveskriften den finner. Notatet ovenfor oppgir nettopp dette som\ngrunnen til at nettstedet i det hele tatt leverer kyrilliske deler: uten dem\nville en ukrainsk side falle tilbake på det systemet tilbyr. Test hvert språk\nmed hele alfabetet i stedet for én eksempelsetning.\n\n**Navn sjekkes mot A til Z.** Et mønster som `^[A-Za-z' -]+$` godtar O'Neill og\navviser Bjørn Ødegård, Zoë og Ґалаґан, altså nettopp de navnene et norsk eller\nukrainsk produkt er til for. Avgjør heller om et tegn er en bokstav ut fra\nUnicode-egenskapene: i JavaScript godtar `/^[\\p{L}\\p{M}' -]+$/u` alle fire.\nEgenskapene kommer fra den kopien av Unicode Character Database som ligger i\nkjøremiljøet. For eksempel rapporterer Node.js 25.2.1, som brukes til\neksemplene her, Unicode 16.0; det er én bestemt byggversjon, ikke en garanti for hver\nutgave i 25.x-serien. Bokstaver som er kommet til i senere Unicode-versjoner,\navvises inntil kjøremiljøets tegndata oppgraderes. Valider navn løst, og\nla et menneske, ikke et mønster, avgjøre de vanskelige tilfellene.\n\n## Les mer\n\n- [About the Unicode Standard](https://www.unicode.org/standard/standard.html)\n  — konsortiets egen beskrivelse av standarden, hva en versjon består av, og\n  hvor den nyeste blir publisert.\n- [The Unicode Standard, Chapter 2: General Structure](https://www.unicode.org/versions/Unicode18.0.0/core-spec/chapter-2/)\n  — de ti designprinsippene, koderommet, de tre kodingsformene og reglene for\n  ekvivalente sekvenser.\n- [Unicode Character Encoding Stability Policies](https://www.unicode.org/policies/stability_policy.html)\n  — det som aldri kan endres når et tegn først er kodet, fra kodepunktet og\n  navnet til normaliseringen.\n- [Unicode 18.0.0](https://www.unicode.org/versions/Unicode18.0.0/) — hva den\n  gjeldende versjonen legger til, og de tekniske standardene som versjoneres\n  sammen med den, blant dem sortering og sikkerhet.\n- [Node.js: process.versions](https://nodejs.org/api/process.html#processversions)\n  — kjøremiljøets oversikt over komponentversjoner, brukt her til å knytte\n  Unicode-dataeksempelet til én bestemt Node.js-byggversjon i stedet for en\n  hel utgivelsesserie.\n- [CSS Fonts: character ranges](https://www.w3.org/TR/css-fonts-4/#descdef-font-face-unicode-range)\n  — hvordan deklarerte tegnområder og skriftens faktiske glyfdekning sammen\n  avgjør hvilke tegn et skriftsnitt kan gjengi.\n\n\u003chttps://engineer.company/nb/glossary/unicode/\u003e\n","date_modified":"2026-11-09T21:50:25Z","description":"Hvordan Unicode gir hvert tegn sitt eget nummer, hvorfor én bokstav kan lagres på tre måter, og seks feil som ødelegger navn, lengder og sammenligninger.","formats":{"gemtext":"https://engineer.company/nb/glossary/unicode/index.gmi","gopher":"https://engineer.company/nb/glossary/unicode/gophermap","html":"https://engineer.company/nb/glossary/unicode/","json":"https://engineer.company/nb/glossary/unicode/index.json","markdown":"https://engineer.company/nb/glossary/unicode/index.md","pdf":"https://engineer.company/nb/glossary/unicode/index.pdf"},"kind":"page","language":"nb","title":"Hva er Unicode?","url":"https://engineer.company/nb/glossary/unicode/","version":1}