GigaToken: um tokenizador ~1000× mais rápido para LLMs, de código aberto
Marcel Roed publica *GigaToken*, um tokenizer para modelos de linguagem que alega um ganho de cerca de três ordens de magnitude em relação às implementações de referência. Retomada das otimizações realizadas.
Jul 23, 2026 21 3