autoresearch（Karpathy）

Karpathy 提出的”可执行研究 harness”——agent 置于可执行研究 harness 内，暴露可变训练程序/固定评估指标/时间预算/Git 历史/指令（源页）。

三文件结构

• prepare.py：固定数据准备，agent 不可改。
• train.py：模型/优化器/超参/训练循环，agent 编辑面。
• program.md：描述研究过程/约束/指标/日志规则/自主策略——“programming the program”（Software 1.0 显式指令 → 2.0 数据训练 → 3.0 context/prompt 成接口 → 再加一层：自然语言指令配置自主组织）。

LOOP FOREVER 流程

读当前 train.py+历史→提一个有动机改动→提交候选→训练约 5 分钟→测 val_bpb 和 peak memory→crash 则检查修复机械问题否则 revert→改进则 keep 否则 reset→记录结果不问人继续。

结果与适用条件

约 700 实验/2 天，约 20 个保留优化（QK normalization scaling、value-embedding regularization、AdamW 参数调优等）；仓库已积累超 86000 GitHub Star 和 12500 forks（易理解易复现证据，非性能指标）。四条件使 autoresearch 适配自主 agent：①输出可验证；②动作可逆（Git reset）；③horizon 短（5 分钟频繁反馈）；④环境有界。

⚠️ autoresearch 的小 harness 之所以有效是因为仓库和指标有界，不证明 agent 能安全自修改生产前沿训练系统。