GigaToken: un tokenizador ~1000× más rápido para los LLM, de código abierto

Marcel Roed publica *GigaToken*, un tokenizador para modelos de lenguaje que afirma lograr una mejora de aproximadamente tres órdenes de magnitud sobre las implementaciones de referencia. Repaso de las optimizaciones realizadas.

Jul 23, 2026 21 3