DeepSeek-V3另一个厉害点：Mixture-of-Experts (MoE)架构，一种将LLM分割成多个子网络（或称为“专家”）的方法，每个子网络专注于处理输入数据的一个子集，以共同完成特定任务。
（1）专家系统：MoE架构包含多个专家，每个专家都是一个独立的神经网络，能够处理特定的任务或数据类型。有多达256个专家，每个专家专注于处理特定任务。
（2）动态路由：不是所有的专家都会参与到每一次的计算中，而是通过一种路由机制动态选择一部分专家进行计算。每次计算会选取前8个最相关的专家（topk=8）参与。
（3）效率与性能：主要优势在于它减少了预训练和推理期间的计算成本。它通过有选择地激活特定任务所需的专家，而不是每次任务都激活整个神经网络，从而提高了效率。
（4）参数激活：拥有671B的总参数，但每个任务仅激活37B参数，这优化了效率和性能。
（5）负载平衡：引入了无辅助损失的负载平衡策略，动态监控和调整专家的负载，以平衡的方式利用它们，而不牺牲整体模型性能。
DeepSeek-V3中的MoE架构通过将大模型分解为专家网络，并根据任务需求动态激活这些专家，实现了计算效率和性能
（1）专家系统：MoE架构包含多个专家，每个专家都是一个独立的神经网络，能够处理特定的任务或数据类型。有多达256个专家，每个专家专注于处理特定任务。
（2）动态路由：不是所有的专家都会参与到每一次的计算中，而是通过一种路由机制动态选择一部分专家进行计算。每次计算会选取前8个最相关的专家（topk=8）参与。
（3）效率与性能：主要优势在于它减少了预训练和推理期间的计算成本。它通过有选择地激活特定任务所需的专家，而不是每次任务都激活整个神经网络，从而提高了效率。
（4）参数激活：拥有671B的总参数，但每个任务仅激活37B参数，这优化了效率和性能。
（5）负载平衡：引入了无辅助损失的负载平衡策略，动态监控和调整专家的负载，以平衡的方式利用它们，而不牺牲整体模型性能。
DeepSeek-V3中的MoE架构通过将大模型分解为专家网络，并根据任务需求动态激活这些专家，实现了计算效率和性能
