GigaToken: токенизатор ~в 1000 раз быстрее для LLM, с открытым исходным кодом

Марсель Рёд публикует *GigaToken*, токенизатор для языковых моделей, который обещает ускорение примерно на три порядка по сравнению с эталонными реализациями. Остановимся на том, что было оптимизировано.

Jul 23, 2026 21 3