LLM Pipeline
LLM Pipeline 指大语言模型从数据到可用模型的完整训练流水线，涵盖 tokenization、预训练（pretraining）、中期训练（mid-training）、监督微调（SFT）、强化学习（RL）和推理部署等阶段。Karpathy 的 nanochat 项目以约 8000 行代码和 ~$100 预算（8×H100 4 小时）端到端实现了这条管线，达到 GPT-2 级别性能，是理解 LLM 全流程的教育性参考实现。
LLM Pipeline 指大语言模型从数据到可用模型的完整训练流水线，涵盖 tokenization、预训练（pretraining）、中期训练（mid-training）、监督微调（SFT）、强化学习（RL）和推理部署等阶段。Karpathy 的 nanochat 项目以约 8000 行代码和 ~$100 预算（8×H100 4 小时）端到端实现了这条管线，达到 GPT-2 级别性能，是理解 LLM 全流程的教育性参考实现。