GigaToken : un tokenizer ~1000× plus rapide pour les LLM, en open source

Marcel Roed publie *GigaToken*, un tokenizer pour modèles de langage qui revendique un gain d'environ trois ordres de grandeur sur les implémentations de référence. Retour sur ce qui a été optimisé.

Le cas concret

Vous pré-entraînez un modèle de langage, ou vous devez encoder un jeu de données de plusieurs téra-octets de texte pour un fine-tuning. Le tokenizer - cette brique qui transforme du texte brut en identifiants numériques - est souvent le goulet d'étranglement invisible : sur les implémentations de référence, il peut consommer autant de temps que le forward pass du modèle lui-même sur des corpus massifs.

GigaToken, publié par Marcel Roed sur GitHub, revendique ~1000× l'implémentation de référence sur les tokenizers BPE (Byte-Pair Encoding) usuels. C'est un chiffre à prendre au sérieux : même à un ordre de grandeur près, ça change ce qui est possible sur une seule machine.

Sous le capot : où sont les 1000× ?

Un tokenizer BPE fait trois choses :

1. Pre-tokenization - découpage grossier du texte (par exemple sur les espaces, la ponctuation, les catégories Unicode).
2. Byte-pair merges - application itérative de règles de fusion (ex. t + h → th, puis th + e → the) selon un vocabulaire pré-appris.
3. Encoding - production de la séquence d'IDs.

Les gains massifs viennent de plusieurs leviers, cumulés :

• Algorithme de merge : les implémentations naïves (Hugging Face tokenizers en version pure Python, ou le premier tiktoken) parcourent une liste de règles à chaque étape. Les implémentations optimisées (comme tiktoken en Rust) utilisent un arbre de fusion pré-calculé et une queue de priorité pour ne traiter que les paires actives. GigaToken pousse la logique plus loin.
• Vectorisation : traiter plusieurs octets simultanément via SIMD pour la pre-tokenization (détection de frontières, tests d'appartenance à des classes de caractères).
• Parallélisme : traiter les chunks de texte en parallèle sur tous les cœurs, en gérant proprement les frontières entre chunks.
• Structures cache-friendly : représentations packées du vocabulaire qui tiennent dans le L1/L2 cache, ce qui évite les cache misses qui dominent le coût sur les implémentations naïves.

Pourquoi c'est important

Les tokenizers ne sont pas glamour. Ils passent inaperçus dans les papiers, et la plupart des gens supposent qu'ils tournent en O(gratuit). Mais quand on parle de préparer des corpus d'entraînement à l'échelle de plusieurs milliers de milliards de tokens (comme Llama 3, DeepSeek V3, etc.), même un facteur 10× sur le tokenizer se traduit en semaines de compute épargnées.

Cas concrets où le gain compte :

• Pré-entraînement d'un LLM (préparation des données).
• Ingestion RAG à grande échelle (millions de documents à tokeniser pour indexation).
• Streaming de tokens à faible latence - un tokenizer rapide contribue à la latence perçue côté client d'un chatbot.
• Environnements contraints - inference edge, browser (via WebAssembly), embarqué.

Les mises en garde d'usage

Un tokenizer plus rapide ne remplace pas un tokenizer correct. Les points à vérifier avant d'adopter :

• Compatibilité byte-exact avec le vocabulaire du modèle cible : un ID différent = un mauvais token = un modèle qui hallucine. Il faut valider sur un large corpus.
• Gestion Unicode : les cas limites (grapheme clusters, homoglyphes, normalisation NFC/NFD) sont un champ de mines.
• API stable : un projet expérimental peut disparaître ou changer sa surface d'un jour à l'autre.
• Sécurité : un parser rapide en langage systèmes doit avoir été audité (débordements sur des inputs pathologiques).

Notre lecture

L'écosystème LLM open source est en train de faire mûrir sa couche « plumbing » - après les serveurs d'inference (vLLM, TGI, llama.cpp), après les frameworks d'entraînement (Megatron, DeepSpeed), c'est le tour des briques data d'être re-écrites au niveau performance. GigaToken s'inscrit dans ce mouvement, aux côtés de tiktoken-rs, arrow-rs et les rewrites systématiques en Rust ou C++ de ce qui tournait avant en Python.

À retenir

• GigaToken revendique ~1000× l'implémentation naïve de BPE - même à un ordre de grandeur près, c'est significatif.
• Gains typiques : SIMD, parallélisme, structures cache-friendly, algorithme de merge optimisé.
• À valider byte-exact contre le vocabulaire du modèle cible avant tout usage prod.