Tokenizer

Tokenizer 是将文本切分为模型可处理 token 序列的分词器，常见算法包括 BPE（Byte-Pair Encoding）、WordPiece 与 SentencePiece。分词策略影响模型多语言能力与效率，小米 MiMo、Karpathy nanochat 等均涉及 tokenizer 设计。