LLM 训练

LLM 训练涵盖大语言模型从预训练到后训练的全流程：数据与成本、架构选择、Scaling Law、RLHF/SFT 对齐，以及开源与闭源的路线之争。Karpathy 的 nanochat（百美元级 ChatGPT）证明小规模可复现训练的教育价值。训练效率与成本是竞争差距的首要来源。