元象XVERSE发布
XVERSE-MoE-A36B，加速AI应用低成本部署，将国产开源提升至国际领先水平。
该模型总参数255B，
激活参数36B
，效果能大致达到
超过100B大模型
的「跨级」性能跃升，同时训练时间减少30%，推理性能提升100%，使每token成本大幅下降。元象「高性能全家桶」系列全部开源，无条件免费商用，让海量中小企业、研究者和开发者能按需选择。
MoE（Mixture of Experts）是业界最前沿的混合专家模型架构 ，将多个细分领域的专家模型组合成一个超级模型，打破了传统扩展定律（Scaling Law）的局限，在
扩大模型规模的同时，保持模型性能最大化，甚至还能降低训练和推理的计算成本
。出于这个原因，行业前沿模型包括谷歌Gemini-1.5、OpenAI的GPT-4 、马斯克旗下xAI公司的Grok等大模型都使用了 MoE。
在多个权威评测中，元象MoE效果大幅超越多个同类模型，包括国内千亿MoE模型 Skywork-MoE、传统MoE霸主Mixtral-8x22B 以及3140亿参数的MoE开源模型Grok-1-A86B等。
免费下载大模型
-
Hugging Face：https://hf.co/xverse/XVERSE-MoE-A36B
-
魔搭：https://modelscope.cn/models/xverse/XVERSE-MoE-A36B
-
Github：https://github.com/xverse-ai/XVERSE-MoE-A36B
-
-
元象此次开源，不仅填补国内空白，也在商业应用上更进一步。
元象基于MoE模型自主研发的AI角色扮演与互动网文APP Saylo，通过逼真的AI角色扮演和有趣的开放剧情，火遍港台，
下载量在中国台湾和香港娱乐榜分别位列第一和第三
。
MoE训练范式具有「更高性能、更低成本」优势，元象在通用预训练基础上，使用海量剧本数据「继续预训练」（Continue Pre-training），并与传统SFT（监督微调）或RLHF（基于人类反馈的强化学习）不同，采用了
大规模语料知识注入
，让模型既保持了强大的通用语言理解能力，又大幅提升「剧本」这一特定应用领域的表现。
元象是国内领先的AI与3D公司，秉持「通用人工智能 AGI」信仰，持续打造「高性能开源全家桶」，是最早发布国内最大参数65B、世界最长上下文256K、国内最大参数MoE开源大模型的公司，不仅填补国产开源空白，更将其推向了国际领先水平。
在商业应用上，元象大模型是广东最早获得国家备案的五个模型之一，可向全社会提供服务。元象大模型从去年起已陆续与QQ音乐、虎牙直播、全民K歌、腾讯云等深度合作与应用探索，为文化、娱乐、旅游、金融领域打造创新领先的用户体验。
MoE是目前业界最前沿的模型框架，由于技术较新，国内外开源模型或学术研究同步探索。元象在此次升级中围绕效率和效果进行了如下探索：
MoE架构与4D拓扑设计：
MoE架构的关键特性是由多个专家组成。由于专家之间需要大量的信息交换，通信负担极重。为了解决这个问题，我们采用了4D拓扑架构，平衡了通信、显存和计算资源的分配。这种设计优化了计算节点之间的通信路径，提高了整体计算效率。
专家路由与预丢弃策略：
MoE的另一个特点是“专家路由机制”，即需要对不同的输入进行分配，并丢弃一些超出专家计算容量的冗余数据。为此团队设计一套预丢弃策略，减少不必要的计算和传输。同时在计算流程中实现了高效的算子融合，进一步提升模型的训练性能。
通信与计算重叠：
由于MoE架构的专家之间需要大量通信，会影响整体计算效率。为此团队设计了“多维度的通信与计算重叠”机制，即在进行参数通信的同时，最大比例并行地执行计算任务，从而减少通信等待时间。
专家权重：
MoE 中的专家总数为 N ，每个 token 会选择 topK 个专家参与后续的计算，由于专家容量的限制，每个 token 实际选择到的专家数为 M，M<=K
举例说明，假设N=8，K=4，M=3（2号专家上token被丢弃），不同专家权重的计算方式所得的权重如下图：
