{"canonical_url":"https://engineer.company/nb/glossary/utf-8/","content_markdown":"# UTF-8\n\n## Hva det er\n\nUTF-8 er kodingen som gjør Unicode-tekst om til byte. Unicode-standarden\ndefinerer den som kodingsformen som lagrer hver Unicode-skalarverdi, det vil si\nethvert kodepunkt unntatt surrogatene som er satt av til UTF-16, som en sekvens\npå én til fire byte. Et tegn som brukeren oppfatter som ett, kan inneholde flere\nskalarverdier og derfor trenge flere byte. Den er én av standardens tre kodingsformer, ved siden av\nUTF-16 og UTF-32, og den som nettets egne standarder krever. Som betegnelse, i\nen HTML-side eller en HTTP-header, skrives den som regel med små bokstaver,\nutf-8, og noen ganger uten bindestrek, utf8; Encoding Standard godtar begge og\nskiller ikke mellom store og små bokstaver i betegnelsene.\n\nUTF-8 ble utformet i september 1992 av Ken Thompson, etter designkriterier Rob\nPike hadde satt opp, for operativsystemet Plan 9, og den het både FSS-UTF og\nUTF-2 før den fikk navnet den har i dag. RFC 3629, IETFs definisjon fra 2003,\nbegrenser den til kodepunktene U+0000 til U+10FFFF, det samme koderommet som\nUnicode har. Da RFC-en ble skrevet, tillot beskrivelsen av UTF-8 i ISO/IEC 10646\nfortsatt sekvenser på opptil seks byte; etter RFC-en og Unicode-standarden tar\ningen Unicode-skalarverdi mer enn fire.\n\nDe første bitene i hver byte forteller hva slags byte det er. En byte der den\nøverste biten er 0, er et tegn for seg selv, ett av de 128 tegnene i ASCII. En\nbyte som begynner med 110, 1110 eller 11110, innleder en sekvens på to, tre\neller fire byte, og hver byte som følger, begynner med 10 og bærer seks biter\ntil av kodepunktet. Hele formatet får plass i fire rader, der x står for\nkodepunktets biter:\n\n```text\nU+0000..U+007F     0xxxxxxx\nU+0080..U+07FF     110xxxxx 10xxxxxx\nU+0800..U+FFFF     1110xxxx 10xxxxxx 10xxxxxx\nU+10000..U+10FFFF  11110xxx 10xxxxxx 10xxxxxx 10xxxxxx\n```\n\nRaden med tre byte utelater surrogatene, U+D800 til U+DFFF: de er ikke tegn, og\nenhver bytesekvens som ville kode et av dem, er ugyldig.\n\nFire egenskaper følger av den formen, og Unicode-standarden gir hver av dem et\nnavn. UTF-8 er gjennomsiktig for ASCII: bytene 00 til 7F betyr det samme som i\nASCII og forekommer aldri inne i et annet tegn. Den er selvsynkroniserende: en\nstartbyte er lett å skille fra en fortsettelsesbyte. En binær sortering av\nUTF-8-strenger gir samme rekkefølge som en sortering etter kodepunkt. Og den har\ningen byterekkefølge, så spørsmålet om big-endian eller little-endian, som\nUTF-16 og UTF-32 må ta stilling til, oppstår aldri.\n\n## Hvorfor det er viktig\n\nNettet har bestemt seg for den. WHATWGs Encoding Standard, spesifikasjonen\nnettlesere implementerer for å lese og skrive tekst, kaller UTF-8 den best\negnede kodingen for utveksling av Unicode og krever den for nye protokoller og\nformater, og for eksisterende formater som tas i bruk i nye sammenhenger. Den\nber forfattere bruke UTF-8 og angi den med betegnelsen utf-8. HTML følger etter:\nkodingen i et dokument må være UTF-8 enten dokumentet oppgir det eller ikke, og\nredigeringsverktøy skal bruke UTF-8 som standard for nye dokumenter. Et produkt\nsom publiserer sider, sender JSON eller tar imot skjemaer, forventes allerede å\nsnakke den.\n\nUtformingen forklarer hvorfor det valget har holdt. Fordi ASCII-bytene aldri\nforekommer inne i et annet tegn, fungerer et program skrevet for ASCII fortsatt\npå UTF-8-tekst: en parser som deler ved komma, skråstrek eller linjeskift,\nfinner dem i en norsk eller ukrainsk setning nøyaktig der de står, og aldri midt\ni en å eller en Ґ. Fordi et program som havner et vilkårlig sted, finner starten\npå en kodet skalarverdi ved å søke høyst fire byte bakover, og som regel færre,\nkan dekodingen fortsette ved en etterfølgende velformet sekvens i stedet for\nå miste resten av filen. Det lover ikke nøyaktig ett erstatningstegn for hver\nskadet byte. Et søk etter én fullstendig kodet skalarverdi treffer aldri en del av en annen. Fordi den binære rekkefølgen er kodepunktenes\nrekkefølge, kan en database eller et program sortere UTF-8-byte uten å dekode\ndem. Den rekkefølgen er likevel en teknisk rekkefølge: den setter å foran æ og\nø, mens en norsk ordbok avslutter alfabetet med æ, ø og å.\n\nStørrelsen er prisen. Unicode-standarden kaller UTF-8 rimelig kompakt: mye\nmindre enn UTF-16 for ASCII-syntaks og vestlige språk, og betydelig større for\nasiatiske skriftsystemer som hindi, thai, kinesisk, japansk og koreansk. I det norske grunnalfabetet\ntar bokstaver én byte bortsett fra æ, ø og å, som tar to; andre bokstaver med\naksent kan trenge flere. Ukrainsk tar to byte for hver kyrillisk bokstav og én\nfor ASCII-mellomrom, sifre og tegnsetting, men annen tegnsetting kan trenge flere. Derfor rommer et felt som måles i byte omtrent halvparten så mange\nukrainske bokstaver som engelske.\n\n## Slik ser det ut i praksis\n\nBytene er lette å få fram. Node.js har, i likhet med en nettleser, Encoding\nStandards `TextEncoder`, som skriver en streng som UTF-8:\n\n```js\nconst hex = (bytes) =\u003e\n  [...bytes].map((b) =\u003e b.toString(16).padStart(2, \"0\")).join(\" \");\nconst encoder = new TextEncoder();\nfor (const text of [\"A\", \"å\", \"Ґ\", \"€\", \"𐌂\"]) {\n  console.log(text, hex(encoder.encode(text)).toUpperCase());\n}\n```\n\nKjørt i Node.js 25 skriver koden ut hvert tegn og bytene i heksadesimal form:\n\n```text\nA 41\nå C3 A5\nҐ D2 90\n€ E2 82 AC\n𐌂 F0 90 8C 82\n```\n\nBokstaven A er ASCII og beholder sin ene byte. Den norske å er U+00E5, som\ntrenger åtte biter, én mer enn de sju én enkelt byte gir plass til, så den får\nmønsteret med to byte. Verdien på elleve biter, 00011100101, deles i 00011\nog 100101; startbyten blir 110 fulgt av 00011, altså C3, og fortsettelsesbyten\nblir 10 fulgt av 100101, altså A5. Den ukrainske Ґ, U+0490, tar to byte på samme\nmåte, eurotegnet tre og den gammelitaliske bokstaven 𐌂, som ligger over U+FFFF,\nfire. Den første byten i hver sekvens forteller hvor lang sekvensen er: C3 og D2\nbegynner med 110, E2 med 1110 og F0 med 11110.\n\nDette nettstedet skriver alle sider i UTF-8 og sier fra der HTML ber om det. Det\nførste elementet i head på hver side er `\u003cmeta charset=\"utf-8\"\u003e`, med\nbetegnelsen utf-8, som Encoding Standard foreskriver, og godt innenfor de\nførste 1024 bytene, der HTML krever at deklarasjonen skal stå. Nettstedets\n[kolofon](/nb/credits/) har en del med kontroller utenfra, og ingen av dem er\nvåre: hver av dem kjører en direkte test i stedet for å ta oss på ordet. En av\ndem er W3C Internationalization Checker, som leser språk- og\ntegnkodingsdeklarasjonene som gjør hver språkversjon av nettstedet lesbar for\nden rette leseren.\n\n## Hvor det går galt\n\n**En bytegrense kutter et tegn i to.** En kolonne, et meldingsfelt eller en\nbuffer som måles i byte, kan slutte midt i en sekvens. Navnet Ærø er tre tegn og\nfem byte, og en grense på fire beholder Æ, r og den første byten av ø:\n\n```js\nconst bytes = new TextEncoder().encode(\"Ærø\");\nconst cut = new TextDecoder().decode(bytes.slice(0, 4));\nconsole.log(bytes.length, [...cut].map((c) =\u003e c.codePointAt(0).toString(16)));\nconsole.log(new TextEncoder().encodeInto(\"Ærø\", new Uint8Array(4)));\n```\n\n```text\n5 [ 'c6', '72', 'fffd' ]\n{ read: 2, written: 3 }\n```\n\nDen enslige startbyten dekodes som U+FFFD, erstatningstegnet, så det\nlagrede navnet slutter med en plassholder der ø-en stod. Kutt heller på en\ngrense mellom Unicode-skalarverdier. `encodeInto` på siste linje gjør det av seg selv: med fire byte til\nrådighet skriver den bare de tre bytene for Æ og r, og melder i `read` hvor mye\nav strengen den tok, talt i UTF-16-enheter. Kode som kutter i byte den allerede\nhar, kan gå bakover forbi fortsettelsesbytene, de som begynner med 10, til\nstartbyten og kutte der. Det holder UTF-8-sekvensen velformet; å bevare et helt tegn slik brukeren oppfatter det, krever også at grensene mellom grafemklynger respekteres.\n\n**Et byte order mark står først i filen.** UTF-8 har ingen byterekkefølge og\ntrenger derfor ikke noe merke, men en konverterer som gjør UTF-16 med et byte\norder mark om til UTF-8, gjør merket til de tre bytene EF BB BF.\nUnicode-standarden krever dem ikke, sier at de ikke har noe å si for om en\nimplementasjon er i samsvar med standarden, og anbefaler dem ikke som signatur\nfor UTF-8. Programmer som leser filer, behandler dem ulikt. Her inneholder filen\nbom.json de tre bytene fulgt av `{\"name\":\"Ærø\"}`:\n\n```js\nimport { readFileSync } from \"node:fs\";\n\nconst text = readFileSync(\"bom.json\", \"utf8\");\nconsole.log(text.codePointAt(0).toString(16));\ntry {\n  JSON.parse(text);\n} catch (error) {\n  console.log(error.name);\n}\nconsole.log(JSON.parse(new TextDecoder().decode(readFileSync(\"bom.json\"))));\n```\n\n```text\nfeff\nSyntaxError\n{ name: 'Ærø' }\n```\n\nNodes `readFileSync` beholder merket som tegnet U+FEFF, og `JSON.parse` avviser\nteksten på grunn av det. `TextDecoder` følger Encoding Standard og fjerner\nmerket, og da lar de samme bytene seg parse uten problemer. I en nettleser veier\nmerket enda tyngre: Encoding Standard setter det over alt annet, også over\nHTTP-headeren `Content-Type`. Skriv UTF-8 uten merket, og der filer kommer fra\nandre systemer, dekod dem med en dekoder som fjerner det, eller fjern en\ninnledende U+FEFF før parsingen.\n\n**En kontroll leser bytene før de er dekodet.** RFC 3629 beskriver en parser som\nkontrollerer inndataene i kodet form og avviser bytene 2F 2E 2E 2F, stisteget\n«/../», men slipper gjennom 2F C0 AE 2E 2F, der C0 AE er en ulovlig skrivemåte\nfor punktum på to byte, som parseren likevel leser som et punktum. RFC-en\nforteller at akkurat dette trikset ble brukt av et utbredt virus som angrep\nwebservere i 2001. Siden Unicode 3.1 er slike former, som ikke er de kortest\nmulige, ugyldige, og bytene C0, C1 og F5 til FF forekommer aldri i gyldig UTF-8.\nEn dekoder som følger standarden, `TextDecoder` blant dem, gjør de fem bytene om\ntil en skråstrek, to U+FFFD og «./», så det ikke er noen «/../» igjen som kan\nsmette forbi. Unicode-standarden er like streng med det som kommer etter en\nfeil: en dekoder som sluker de gyldige bytene etter en ugyldig startbyte, følger\nikke standarden og kan utnyttes til angrep, og `TextDecoder` gjør bytene\nC2 41 42 om til U+FFFD fulgt av AB. Dekod først med plattformens egen dekoder,\nkontroller deretter den dekodede teksten, og skriv aldri en UTF-8-dekoder, eller\net bytemønster som skal gjøre samme nytten, for hånd.\n\n**Erstatning skjuler skaden.** Som standard erstatter en dekoder hver ugyldig\nsekvens med U+FFFD og fortsetter. Det er riktig når en side skal vises, og feil\nnår data skal importeres: teksten ser nesten normal ut, den lagrede kopien har\nmistet de opprinnelige bytene, og avsenderen får aldri vite hvor filen var\nskadet. Encoding Standard nevner to feilmoduser for dekoding, «replacement» og\n«fatal», og for identifikatorer og bytesekvenser inne i et format eller en\nprotokoll lar den andre standarder velge en dekoder som feiler i stedet for å\nerstatte. I JavaScript kaster `new TextDecoder(\"utf-8\", { fatal: true })` en\n`TypeError` for det avkuttede navnet ovenfor i stedet for å returnere det. Bruk\nden fatale modusen overalt der tekst lagres, signeres eller sammenlignes, avvis\ninndataene med en melding avsenderen kan gjøre noe med, og behold erstatningen\ntil visning.\n\n**Deklarasjonen kommer for sent, mangler eller er feil.** HTML krever at\nelementet som deklarerer kodingen, er fullstendig innenfor de første 1024 bytene\ni dokumentet. Det krever en deklarasjon selv når alle tegnene er ASCII, fordi\nnettleseren trenger en koding for det folk skriver inn i skjemaer, og for URL-er\nsom skript bygger. En betegnelse som ser harmløs ut, kan også være feil: i\nEncoding Standard er «ascii», «latin1» og «iso-8859-1» alle betegnelser på\nwindows-1252, så en side som er deklarert som ASCII, leses som windows-1252.\nSett `\u003cmeta charset=\"utf-8\"\u003e` først i head, send\n`Content-Type: text/html; charset=utf-8` med hver side, og behandle enhver annen\nbetegnelse på noen av stedene som en feil.\n\n## Les mer\n\n- [The Unicode Standard, Chapter 3: Conformance](https://www.unicode.org/versions/Unicode18.0.0/core-spec/chapter-3/#G27817)\n  — definisjonen av UTF-8, tabellen over gyldige bytesekvenser, byte order\n  mark, og hvordan en konverterer skal behandle ugyldige inndata.\n- [The Unicode Standard, Chapter 2: General Structure](https://www.unicode.org/versions/Unicode18.0.0/core-spec/chapter-2/)\n  — hvorfor UTF-8 er gjennomsiktig for ASCII, selvsynkroniserende og fri for\n  byterekkefølge, og hvordan størrelsen står seg mot UTF-16.\n- [RFC 3629: UTF-8, a transformation format of ISO 10646](https://www.rfc-editor.org/rfc/rfc3629)\n  — IETFs definisjon, historien fra Plan 9 og sikkerhetshensynene bak angrepet\n  med overlange kodinger av en sti.\n- [Encoding Standard](https://encoding.spec.whatwg.org/) — WHATWGs\n  spesifikasjon, som nettlesere følger: hvorfor UTF-8 er påkrevd, hvordan\n  dekoding behandler byte order mark og feil, og grensesnittene `TextEncoder`\n  og `TextDecoder`.\n- [HTML: Specifying the document's character encoding](https://html.spec.whatwg.org/multipage/semantics.html#charset)\n  — hva en deklarasjon må si, hvor den må stå, og hvorfor en side som bare er\n  skrevet i ASCII, trenger en.\n\n\u003chttps://engineer.company/nb/glossary/utf-8/\u003e\n","date_modified":"2026-11-09T21:50:25Z","description":"Hvordan UTF-8 lagrer skalarverdier i én til fire byte, hvorfor nettet krever det, og fem feil der avkuttet tekst, merker og ugyldige byte ødelegger tekst.","formats":{"gemtext":"https://engineer.company/nb/glossary/utf-8/index.gmi","gopher":"https://engineer.company/nb/glossary/utf-8/gophermap","html":"https://engineer.company/nb/glossary/utf-8/","json":"https://engineer.company/nb/glossary/utf-8/index.json","markdown":"https://engineer.company/nb/glossary/utf-8/index.md","pdf":"https://engineer.company/nb/glossary/utf-8/index.pdf"},"kind":"page","language":"nb","title":"Hva er UTF-8?","url":"https://engineer.company/nb/glossary/utf-8/","version":1}