LLM-Training
LLM 训练涵盖预训练（海量文本自监督）、监督微调（SFT）与对齐（RLHF/DPO）等阶段。Karpathy 的 nanochat 等开源项目提供从零训练小模型的端到端教程，是理解大模型训练流程的参考实现。
[2026-08-06] 5 万亿参数训练：系统工程挑战与蒸馏争议
据《晚点 LatePost》报道，字节跳动正在讨论训练超 5 万亿参数的模型。报道指出，这一量级的语言模型与视频模型（如 Seedance 2.0）截然不同：除算法层面的创新外，团队要面对完全不同量级的系统工程，需要更大量、更多样的数据，并要求各部门深度配合。字节为此重新梳理 Seed 组织：由 Seed Foundation 负责人项亮主导，与 LLM 预训练数据负责人沈科合作——数据被摆在与模型架构同等重要的位置。
报道还披露了张一鸣反对模型蒸馏的立场：蒸馏能在短期内改善模型表现，但本质是复制强模型（如 Claude）的能力，最多逼近、很难超越。这一立场将直接影响 Seed 的后训练数据与训练路线选择。
- 详见 晚点独家：字节讨论训超 5 万亿参数模型
- 与本页语境中”人类专家知识蒸馏”的区别见 知识蒸馏工作流