开发与编程 GigaToken：一款开源的 LLM 专用超高速分词器（约 1000 倍速度提升） Marcel Roed 发布了 *GigaToken*，一种针对语言模型的分词器，据称在基准实现上实现了约三个数量级的提升。回顾其优化之处。人工智能开源分词器 Jul 23, 2026 21 3
