Wie zich verdiept in AI komt vroeg of laat de term tokens tegen. In documentatie, in gesprekken met leveranciers, in discussies over wat een model wel en niet aankan. Toch weten weinig mensen niemand buiten developers precies wat een token is.
Dat is jammer, want tokens verklaren een groot deel van het gedrag dat gebruikers wél opvalt: waarom een AI-agent een lang document niet in één keer kan overzien, waarom een antwoord woord voor woord binnendruppelt, en waarom Nederlands ‘zwaarder weegt’ dan Engels.
Wat is een token precies?
Een taalmodel leest geen letters en geen woorden. Het leest tokens: stukjes tekst waarin de tekst vooraf is opgeknipt. Een token is meestal een kort woord, een woorddeel of een leesteken.
Korte, veelvoorkomende woorden als “de”, “en” of “niet” zijn één token. Een langer of zeldzamer woord wordt in stukken geknipt. “Arbeidsongeschiktheidsverzekering” is voor een mens één begrip, maar voor een model een reeks van rond de tien losse stukjes. Ook spaties en leestekens tellen mee.
Als vuistregel geldt: één token is ongeveer vier tekens. In het Engels komt dat neer op ruwweg driekwart woord per token. In het Nederlands ligt die verhouding ongunstiger, en daar komen we zo op terug.
Hoe werkt het van tekst naar token en terug?
De verwerking van een AI-gesprek verloopt in drie stappen.
Eerst wordt alles wat het model te lezen krijgt, opgeknipt in tokens. Dat is niet alleen de vraag van de gebruiker, maar ook de instructies die het gedrag van de agent bepalen, de eerder gestelde vragen in hetzelfde gesprek en de documentatie die uit de kennisbank wordt opgehaald. Dit heet samen de input.
Vervolgens voorspelt het model steeds het meest waarschijnlijke volgende token, gegeven alles wat het tot dan toe heeft gezien. Daarna kijkt het opnieuw, inclusief het token dat het net zelf heeft gemaakt, en voorspelt het volgende. Zo bouwt het antwoord zich token voor token op. Precies daarom zie je een antwoord op je scherm verschijnen alsof er iemand zit te typen: het wordt op dat moment echt stuk voor stuk gemaakt.
Tot slot worden die tokens weer samengevoegd tot leesbare tekst, of bij een voice agent doorgegeven aan de spraaksynthese.
Daarbij geldt één belangrijke beperking: het contextvenster. Dat is het maximale aantal tokens dat een model in één keer kan overzien, en je kunt het zien als het werkgeheugen van de agent. Alles wat erin past, kan worden meegewogen. Alles wat er niet in past, bestaat op dat moment niet voor het model. Een agent die halverwege een lang gesprek de eerste afspraken lijkt te vergeten, heeft geen slecht geheugen: zijn werkgeheugen zit vol.
Waarom Nederlands meer tokens ‘kost’ dan Engels
De manier waarop tekst in tokens wordt opgeknipt, is aangeleerd op grote hoeveelheden tekst, en die tekst is overwegend Engels. Het gevolg is dat Engelse woorden efficiënt zijn opgeslagen en Nederlandse woorden vaker in stukjes uiteenvallen.
Daar komt onze taal zelf bij. Het Nederlands kent lange samenstellingen die in het Engels uit losse woorden bestaan. “Verzuimbegeleiding”, “ziekmeldingsprocedure” en “arbeidsdeskundig onderzoek” worden in meerdere fragmenten opgeknipt, terwijl hun Engelse tegenhangers vaak met minder tokens toe kunnen. Dezelfde boodschap kost in het Nederlands daarom ongeveer anderhalf keer zoveel tokens als in het Engels.
Dat heeft drie praktische gevolgen. Het contextvenster raakt eerder vol, waardoor er minder kennis tegelijk kan worden meegegeven. De verwerking duurt iets langer, wat in een chatgesprek nauwelijks opvalt maar in een telefoongesprek wel degelijk hoorbaar is. En de rekenkracht die nodig is, ligt hoger.
Praktische voorbeelden
Een organisatie levert haar volledige verzuimprotocol van veertig pagina’s aan als bron voor de AI-agent. Dat document past niet in één keer in het werkgeheugen van het model. Door het protocol op te knippen in logische stukken en per vraag alleen de relevante passage op te halen, krijgt de agent precies de context die hij nodig heeft en niets meer.
Een voice agent leest een antwoord voor van zes zinnen in plaats van twee. De beller wacht daardoor niet alleen langer op het einde van het antwoord, maar ook op het begin ervan, omdat het model meer tokens moet produceren. Kort formuleren is in spraak dus letterlijk sneller.
Een agent wordt uitgerust met een uitgebreide instructie waarin elk denkbaar scenario is beschreven. Die instructie wordt bij élke vraag opnieuw meegestuurd en vult het werkgeheugen nog voordat de gebruiker iets heeft gezegd. Scherp formuleren levert hier meer op dan volledig zijn.
Woorden versus tokens: de vuistregels
| Situatie | Vuistregel |
|---|---|
| Engelse tekst | ongeveer 75 woorden per 100 tokens |
| Nederlandse tekst | ongeveer 50 tot 60 woorden per 100 tokens |
| Lange samenstellingen | 1 woord kan 5 tot 10 tokens zijn |
| Cijferreeksen en codes | vrijwel altijd meerdere tokens per getal |
| Leestekens en spaties | tellen gewoon mee |
Waarom dit belangrijk is voor jouw AI-project
Tokens zijn geen technisch detail voor specialisten. Ze bepalen hoeveel kennis een agent tegelijk kan overzien, hoe snel hij reageert en hoe scherp zijn antwoorden zijn. Een goed ingerichte agent krijgt niet zoveel mogelijk informatie mee, maar precies de juiste informatie op het juiste moment.
Dat is ook de reden waarom technieken als RAG en het Model Context Protocol bestaan: ze zorgen ervoor dat een agent gericht ophaalt wat hij nodig heeft, in plaats van alles vooraf mee te sjouwen. Wie begrijpt wat tokens zijn, begrijpt meteen waarom dat zo veel verschil maakt.
Wil je weten hoe we dit voor jouw organisatie kunnen inrichten? Boek een demo en we laten het zien.
