MoE 架构

Mixture-of-Experts（MoE，混合专家）是一种稀疏激活架构，通过路由机制将输入只发送给部分”专家”子网络处理，从而在保持参数规模的同时降低推理计算量。DeepSeek、Qwen3 等模型采用此架构以提升效率与容量。