专家自主模型（AoE）通过赋予混合专家模型中的专家自主选择权，基-20250124054724

专家自主模型（AoE）通过赋予混合专家模型中的专家自主选择权，基于专家内部激活范数进行自评估和选择，有效解决了传统 MoE 模型中路由决策与专家执行分离的问题，在保证效率的同时，显著提升了下游任务性能，并揭示了专家自评估能力在构建高效 MoE 模型中的重要作用，这一反直觉的设计思路为未来 MoE 模型的发展提供了新的方向。