信息论
由 Claude Shannon 于 1948 年奠基的学科，研究信息的量化、传输与压缩。核心概念包括信息熵（衡量不确定性）、信道容量与信源编码定理。信息论是现代通信、数据压缩和机器学习的理论基础。近期研究（如 epiplexity）指出 Shannon 信息在刻画”有用信息”上的不足——确定性变换不增加信息、信息与数据顺序无关等”悖论”与现代 ML 实践存在张力。
由 Claude Shannon 于 1948 年奠基的学科，研究信息的量化、传输与压缩。核心概念包括信息熵（衡量不确定性）、信道容量与信源编码定理。信息论是现代通信、数据压缩和机器学习的理论基础。近期研究（如 epiplexity）指出 Shannon 信息在刻画”有用信息”上的不足——确定性变换不增加信息、信息与数据顺序无关等”悖论”与现代 ML 实践存在张力。