古德哈特定律(Goodhart’s Law)
英国经济学家 Charles Goodhart 于 1975 年在货币政策语境下提出,后经人类学家 Marilyn Strathern 改写为通俗版本:“当一项指标成为目标时,它就不再是一项好的指标了”。在 LLM 评估领域,该定律被用来解释四代评测(MMLU/GSM8K → Chatbot Arena → SWE-bench → Agent 全链路)为何都会被刷榜 hack、反复失真的规律。
英国经济学家 Charles Goodhart 于 1975 年在货币政策语境下提出,后经人类学家 Marilyn Strathern 改写为通俗版本:“当一项指标成为目标时,它就不再是一项好的指标了”。在 LLM 评估领域,该定律被用来解释四代评测(MMLU/GSM8K → Chatbot Arena → SWE-bench → Agent 全链路)为何都会被刷榜 hack、反复失真的规律。