GigaToken: un tokenizador ~1000× más rápido para los LLM, de código abierto

Marcel Roed publica *GigaToken*, un tokenizador para modelos de lenguaje que afirma lograr una mejora de aproximadamente tres órdenes de magnitud sobre las implementaciones de referencia. Repaso de las optimizaciones realizadas.

El caso concreto

Usted preentrena un modelo de lenguaje o debe codificar un conjunto de datos de varios terabytes de texto para un fine-tuning. El tokenizer —este componente que transforma texto sin procesar en identificadores numéricos— suele ser el cuello de botella invisible: en las implementaciones de referencia, puede consumir tanto tiempo como el forward pass del modelo en sí mismo en corpus masivos.

GigaToken, publicado por Marcel Roed en GitHub, afirma ser ~1000× más rápido que las implementaciones de referencia en los tokenizers BPE (Byte-Pair Encoding) habituales. Es una cifra que debe tomarse en serio: incluso en un orden de magnitud, cambia lo que es posible en una sola máquina.

Bajo el capó: ¿dónde están los 1000×?

Un tokenizer BPE realiza tres tareas:

1. Pre-tokenización —división gruesa del texto (por ejemplo, en espacios, puntuación o categorías Unicode).
2. Fusiones de pares de bytes —aplicación iterativa de reglas de fusión (ej. t + h → th, luego th + e → the) según un vocabulario preaprendido.
3. Codificación —producción de la secuencia de IDs.

Las ganancias masivas provienen de varios factores acumulados:

• Algoritmo de fusión: las implementaciones ingenuas (Hugging Face tokenizers en versión pura de Python o la primera versión de tiktoken) recorren una lista de reglas en cada paso. Las implementaciones optimizadas (como tiktoken en Rust) usan un árbol de fusión precálculado y una cola de prioridad para procesar solo los pares activos. GigaToken lleva esta lógica aún más lejos.
• Vectorización: procesar varios bytes simultáneamente mediante SIMD para la pre-tokenización (detección de límites, pruebas de pertenencia a clases de caracteres).
• Paralelismo: procesar fragmentos de texto en paralelo en todos los núcleos, gestionando correctamente los límites entre fragmentos.
• Estructuras cache-friendly: representaciones empaquetadas del vocabulario que caben en la caché L1/L2, evitando cache misses que dominan el costo en las implementaciones ingenuas.

¿Por qué es importante?

Los tokenizers no son glamurosos. Pasan desapercibidos en los artículos, y la mayoría de la gente asume que se ejecutan en tiempo O(gratis). Pero cuando se habla de preparar corpus de entrenamiento a escala de varios billones de tokens (como Llama 3, DeepSeek V3, etc.), incluso un factor de 10× en el tokenizer se traduce en semanas de cómputo ahorradas.

Casos concretos donde el rendimiento importa:

• Preentrenamiento de un LLM (preparación de datos).
• Ingestión RAG a gran escala (millones de documentos para tokenizar e indexar).
• Transmisión de tokens con baja latencia —un tokenizer rápido contribuye a la latencia percibida en el cliente de un chatbot.
• Entornos con restricciones —inferencia en edge, navegador (vía WebAssembly), sistemas embebidos.

Advertencias de uso

Un tokenizer más rápido no reemplaza a uno correcto. Los puntos a verificar antes de adoptarlo:

• Compatibilidad byte-exact con el vocabulario del modelo objetivo: un ID diferente = un token incorrecto = un modelo que alucina. Debe validarse en un corpus amplio.
• Gestión de Unicode: los casos límite (agrupaciones de grafemas, homógrafos, normalización NFC/NFD) son un campo minado.
• API estable: un proyecto experimental puede desaparecer o cambiar su superficie de un día para otro.
• Seguridad: un analizador rápido en lenguajes de sistemas debe haber sido auditado (desbordamientos en entradas patológicas).

Nuestra lectura

El ecosistema de código abierto de los LLM está madurando su capa de "fontanería" —tras los servidores de inferencia (vLLM, TGI, llama.cpp) y los frameworks de entrenamiento (Megatron, DeepSpeed), ahora le toca el turno a las piezas de procesamiento de datos a ser reescritas en rendimiento. GigaToken se enmarca en este movimiento, junto a tiktoken-rs, arrow-rs y las reescrituras sistemáticas en Rust o C++ de lo que antes se ejecutaba en Python.

Para recordar

• GigaToken afirma ser ~1000× más rápido que la implementación ingenua de BPE —incluso en un orden de magnitud, es significativo.
• Ganancias típicas: SIMD, paralelismo, estructuras cache-friendly, algoritmo de fusión optimizado.
• Validar byte-exact contra el vocabulario del modelo objetivo antes de cualquier uso en producción.