Innholdet er AI-generert og kan inneholde feil.
En token er byggesteinen en språkmodell leser og skriver. Den er ikke det samme som et ord, og den samme meningen kan kreve flere tokener på norsk enn på engelsk. Det merkes både på prisen og på hvor mye som får plass i en samtale.
En token er ikke det samme som et ord
Når en språkmodell leser eller skriver tekst, arbeider den ikke med hele setninger som én enhet, og heller ikke nødvendigvis med hele ord. Teksten deles først opp i mindre brikker som kalles tokener. OpenAI skriver i hjelpeartikkelen «Understanding and counting tokens» at en token kan være et tegn, en del av et ord, et helt ord eller et skilletegn, og at mellomrom også påvirker hvordan teksten deles opp.
En telling av tokener er derfor ikke det samme som en telling av ord. Den samme teksten kan gi ulike antall tokener avhengig av hvilken modell og hvilken koding (encoding) som brukes, og av språket teksten er skrevet på. For engelsk oppgir OpenAI noen grovregler som bare er anslag: én token tilsvarer om lag fire tegn, eller om lag tre fjerdedeler av et ord, slik at 100 tokener tilsvarer om lag 75 engelske ord. For andre språk, skriver de, kan forholdet mellom tegn, ord og tokener være annerledes.
Hvordan teksten deles opp
De fleste moderne språkmodeller bruker en orddelbok som er lært på forhånd, typisk med en metode i familien bytepar-koding (BPE, fra engelsk byte pair encoding). Rico Sennrich, Barry Haddow og Alexandra Birch beskrev i 2016 hvordan slike delord kan hjelpe maskinoversettelse med sjeldne ord: vanlige ord får gjerne sin egen token, mens uvanlige ord og bøyninger bygges opp av mindre biter. Varianten som faktisk brukes, og størrelsen på ordlisten, er ulike fra modellfamilie til modellfamilie. OpenAI har publisert verktøyet tiktoken og en nettbasert tokenizer, slik at man kan se hvordan en gitt tekst blir delt med en navngitt koding.
Det betyr at to nesten like ord kan bli ulike tokener. OpenAI peker på at store og små bokstaver, og om ordet har et mellomrom foran seg, kan gi forskjellig oppdeling. Man kan derfor ikke anta at et token-nummer fra ett eksempel gjelder for alle modeller.
Noen eksempler på norsk og engelsk
Eksemplene under er regnet 11. november 2026 med OpenAIs koding o200k_base, som brukes av flere av selskapets nyere modeller, via det åpne verktøyet tiktoken. De er ikke et evig gyldig mål på «hvor mye norsk koster», og andre modeller har andre ordlister. De viser likevel et typisk mønster: vanlig engelsk tekst treffer oftere hele ord, mens norsk oftere blir kuttet i deler, særlig i sammensetninger og bøyninger.
Engelsk, 6 tokener:
The weather is nice today.
Norsk, 7 tokener:
Det er fint vær i dag.
Setningene «The weather is nice today.» og «Det er fint vær i dag.» delt med kodingen o200k_base. Mellomrom inngår ofte i tokenen som følger etter, og vises her som et synlig mellomrom først i boksene.
artificial intelligence, 3 tokener:
artificial intelligence
kunstig intelligens, 4 tokener:
kunstig intelligens
responsibility, 2 tokener:
responsibility
samfunnsansvar, 5 tokener:
samfunnsansvar
The municipality is responsible for the school., 8 tokener:
The municipality is responsible for the school.
Kommunen er ansvarlig for skolen., 9 tokener:
Kommunen er ansvarlig for skolen.
Samme koding, o200k_base, 11. november 2026. Forskjellen er liten i de korte setningene, men tydelig i sammensatte eller bøyde norske ord. «hello» blir én token, mens «hallo» blir delt i «h» og «allo».
Mønsteret er ikke tilfeldig. Ordlistene læres av store tekstmengder, og engelsk er sterkt representert i slikt materiale. Store norske leksikon skriver, i artikkelen om språkmodeller, at hvor god en modell er for et gitt språk, i stor grad avhenger av hvor mye data som er tilgjengelig for det språket. Når vanlige norske sammensetninger ikke har fått egne innslag i ordlisten, må de settes sammen av flere biter. Flere tokener betyr at den samme meningen fyller mer av modellens kapasitet, og at den typisk koster mer å sende inn og å få ut.
Kontekstvinduet
En modell kan bare arbeide med et begrenset antall tokener av gangen. Denne grensen kalles kontekstvinduet. Den omfatter både det du sender inn – spørsmål, tidligere samtale, opplastede dokumenter og systemtekst – og det modellen skriver ut. OpenAI understreker at modellene også har en egen øvre grense for hvor mange tokener de kan skrive i ett svar, og at denne kan være lavere enn hele vinduet.
Hvor stort vinduet er, varierer. Flere av modellene som omtales i artikkelen om leverandører, har per november 2026 et vindu på én million tokener, ifølge leverandørenes egne dokumentasjonssider. Andre ligger lavere. Et vindu på én million tokener er, ifølge Anthropics modelldokumentasjon, med deres nåværende koding om lag 555 000 ord eller 2,5 millioner Unicode-tegn. Eldre modeller med samme nominelle vindu kunne romme et annet antall ord, fordi kodingen var annerledes. Tallene gjelder Anthropics koding og skal ikke brukes som fasit for alle leverandører.
Når konteksten er full, må noe tas vekk, oppsummeres eller deles opp. Lange samtaler, hele bøker eller store kodebaser kan derfor kreve mer enn å «lime inn alt». For resonneringsmodeller, som bruker tokener internt før de viser et synlig svar, må man i tillegg sette av plass til denne skjulte tenkingen.
Hvorfor pris og kvote måles i tokener
Hos de fleste leverandørene betaler man for API-bruk etter hvor mange tokener som går inn og ut, vanligvis oppgitt per million tokener. OpenAI skiller mellom flere kategorier:
- Inndatatokener (også kalt prompt-tokener): det som sendes inn til modellen.
- Utdatatokener: det modellen lager. I eldre grensesnitt kalles de gjerne fullføringstokener.
- Bufrede inndatatokener: inndata som gjenbrukes gjennom såkalt prompt-bufring, ofte til en lavere pris.
- Resonneringstokener: tokener en resonneringsmodell bruker internt før det synlige svaret. De vises ikke som svarestekst, men teller typisk som utdata og blir fakturert deretter.
Et kort synlig svar kan derfor ha brukt langt flere tokener enn det du leser, skriver OpenAI, særlig når modellen «tenker» først. Prisen per million tokener varierer mellom modeller og mellom disse kategoriene. En modell med lav stykkpris kan likevel bli dyrere totalt hvis den bruker flere tokener på å løse den samme oppgaven, eller hvis den tokeniserer teksten mer oppstykket. OpenAI anbefaler derfor å sammenlikne typiske, reelle oppgaver, ikke bare prisen på papiret eller lengden på det synlige svaret.
Det samme prinsippet gjelder kvoter i chat-tjenester, selv når du ikke ser en tokenregning. Begrensninger på antall meldinger, «tenke»-nivå eller hvor lange dokumenter du kan legge ved, er i bunnen ofte en måte å styre tokenforbruket på. For norske tekster, som i eksemplene over gjerne bruker flere tokener enn en engelsk tekst med samme innhold, kan det merkes både på prisen og på hvor mye som får plass i vinduet.
Hvordan leverandørene fordeler dette mellom raske modeller, dyre resonneringsmodeller og modeller du kan kjøre selv, er tema for artikkelen om hvorfor det finnes ulike modeller.
Kilder
- Understanding and counting tokens – OpenAI Help Center.
- tiktoken – OpenAIs åpne verktøy for å telle og vise tokener. Eksemplene i artikkelen er regnet med kodingen
o200k_base11. november 2026. - Tokenizer – OpenAIs nettbaserte visning av hvordan tekst deles i tokener.
- Neural Machine Translation of Rare Words with Subword Units – Rico Sennrich, Barry Haddow og Alexandra Birch, 2016.
- Models overview – Anthropic, om kontekstvindu og omregning til ord og tegn.
- Språkmodell – Store norske leksikon, blant annet om at datagrunnlaget varierer mellom språk.