专栏名称: 机器人大讲堂

机器人大讲堂是立德共创服务平台旗下引领行业发展的新媒体平台，已举办多种形式系列活动近百场，行业媒体矩阵垂直粉丝20万余人；立德研究院承接智库咨询和科研项目；立德孵化基于顶尖专家优势形成早期高技术成果产业化。

本地化部署超200万RMB 全球最大模型Grok-1开源 3140亿参数超过GPT 3.5

机器人大讲堂 · 公众号 · · 2024-03-24 14:29

正文

前段时间马斯克一纸诉状将Open AI奥特曼告上法庭，要求其共享技术，昔日的两位挚友终成路人。但有不少网友看热闹不嫌事大，在马斯克X平台留言，要求其先开源自己的模型。然鹅……短短几日，马斯克真的做到了。

2024年3月18日， 马斯克兑现承诺，开源了Grok ，这无疑向市场释放了一枚重磅核弹。

截至目前（3月21日），Grok已经在GitHub上获得了4万颗星，目前还在不断上升中。

从Grok模型公开的信息可以看到， 该模型的Transformer架构达到了64层，大小为314B，拥有3140亿个参数，成为目前参数量最大的开源模型 。用户 可以免费将Grok用于商业用途，进行修改和分发，且没有附加条款。

Youtube博主讲解 Grok-1模型（小白教程）

Grok-1官方入口：

文章介绍: https://x.ai/blog/grok-os

GitHub地址: https://github.com/xai-org/grok-1

Hugging Face地址:https://huggingface.co/xai-org/grok-1

模型权重下载：

https://github.com/xai-org/grok-1/discussions/129

▍ Grok-1模型的基本情况

如果你看不懂上面的数据，那么我来帮你解读一下

Grok-1模型的核心技术细节如下：

基础模型和训练：Grok-1是一个通用的语言模型，基于大量文本数据从头开始训练，未针对特定任务进行微调。

参数数量：Grok-1拥有3140亿个参数，是当前最大的开源大语言模型之一，激活权重占25%。

混合专家模型（MoE）：采用混合专家系统设计，每个token从8个专家中选择2个进行处理。

激活参数：激活参数数量为860亿，显示出模型处理语言任务的潜力。

嵌入和位置嵌入：使用旋转位置嵌入（RoPE）处理序列数据，Tokenizer词汇量为131072，嵌入大小为6144。

Transformer层：包含64个Transformer层，每层都有多头注意力块和密集块，注意力头数为查询48个，键/值各8个，隐藏层大小为32768。

量化：提供8位量化的权重，有助于减少模型的存储和计算需求，适合资源有限的环境。

运行要求：由于模型规模巨大（314B参数），需要具有足够GPU内存的机器运行，估计需要628GB的GPU内存（每个参数2字节）。

Grok-1模型与主流模型参数对比

这些技术细节展示了Grok-1模型的复杂性和设计特点，特别是在处理大规模数据和优化模型效率方面的考虑。

根据xAI官方解释，Grok-1是一个与LLaMa 2 70B模型和GPT-3.5相当的大语言模型，规格与Open AI GPT-3.5接近。

▍本地化部署Grok-1显卡至少200万人民币打底

虽然Grok-1在性能上表现出色，但在本地化部署过程中，我们依然面临很大困难。这些困难并非来自技术层面，而是采购渠道以及成本。鉴于众所周知的原因， 中国本土企业已无法通过正常渠道购买NVIDIA H100 GPU。甚至连A100这一兄弟版本也受到了限制 ，因此我们不得不寻找其他的解决方案。

NVIDIA H100 GPU并非性能老大哥但却是大模型训练的敲门砖

由于Grok-1是一个3140亿参数的大规模语言模型，它对硬件要求非常高。Grok至少需要一台拥有628GB GPU内存的机器，并且 至少需要8个NVIDIA H100 GPU（每个80GB），每块H100显卡的售价为3.65万美元 ，但值得注意的是， H100计算卡有SXM和PCIe 5.0两种样式，PCIe版价格在24万+人民币，SXM版价格更高。 并且对于中国区域，无论是研究机构还是企业都需要承担更高的成本。 （特别注意：NVIDIA H100 GPU并非现阶段该公司最强AI显卡，如2023年底发布H200 GPU、2024 GTC大会发布的B200 GPU性能更强）

NVIDIA H200/H100/A100 GPU运算参数对比

此外，由于模型权重文件非常大，需要高带宽和大容量存储作为支撑，也需要足够的磁盘空间用来存放模型数据，并且在推理时可能需要高带宽支持。成本也会进一步增加。

要实现本地化部署，在软件层面， 必须依赖PyTorch或TensorFlow来加载 、运行并优化相关模型。此外， 必须确保与代码库的兼容性 ，以便能够获取并编译xAI提供的开源代码，从而确保Grok-1模型能够被正确加载和使用。

因此虽然Grok-1开源，但想要在国内进行本地化部署确实存在一定难度。

▍ Grok-1开源之后对国内大模型的影响如何？

截至目前，我国已有超过240家企业和研究机构投身于大模型的研发工作。而开源模型当中，以阿里巴巴的Qwen-72B模型、清华大学的 ChatGLM 模型和百川智能的Baichuan-7B模型最具代表性。其中， Qwen-72B模型的参数量高达720亿，ChatGLM模型的参数量为60亿，而Baichuan-7B模型的参数量则达到70亿 。

“ 走向未来 ” 账号梳理中国大模型企业共计超过240家

反观国外，谷歌所采用的Gemma模型拥有高达70亿的参数量，而Meta公司则选择了 LLaMA2 模型，其参数量介于70亿至700亿之间。

xAI所开发的Grok-1模型，其参数规模高达3140亿，是阿里巴巴所推出的Qwen-72B模型参数量高出四倍，这波操作下来实属降维打击！对于参与大模型开发的大型企业而言，尚有能力进行本地化部署，然而，对于众多中小企业而言，受制于购买以及租赁服务器压力则会面临较大冲击，特别是那些基于llama2进行微调套壳的模型，恐将难以应对这一技术变革，或将很快失去市场竞争力。

可以预见，在不久的将来，国内不少大模型企业将会纷纷拥抱Grok-1模型，由于Grok-1模型在参数规模和性能上均大幅超越了Llama2。使用Grok-1模型能够显著提高其在各种自然语言处理任务中的表现。随着Grok-1模型的开源，中国本土的大型模型在自然语言处理（NLP）方面的表现将会显著增强。大模型企业研发与迭代速度进一步加快，并有望推动国内大型模型行业的整体创新速度和效率提升。

▍ 警惕温水煮青蛙

谈及开源，我们不得不提及2003年诞生的Android操作系统。该系统由安迪·鲁宾开创，主要服务于智能手机领域。在那个时期，非智能手机市场主要由 Symbian系统所主导，极少数被BlackBerry OS瓜分（北美市场）。值得注意的是，当时的市场上尚未出现Windows Phone（诞生于2010年10月）和iOS（诞生于2007年的Macworld）等其他竞争对手。

经过21年的稳步发展，安卓系统已在全球范围内积累了超过30亿的用户群体，以高达71.9%的市场份额稳坐头把交椅。在全球经济化浪潮之下，国内一直深度参与国际化分工角色当中的加工角色，并成为手机消费的主导市场。然而，贸易壁垒打破了原有的全球化格局，迫使我国企业不得不进行自我创新和转型。从芯片到操作系统国产化上升为国家战略层次。华为HarmonyOS在2019年动荡中诞生，经过5年长跑，国内占有率为8%，全球占有率仅为2%。虽然体量较小，但它是突破卡脖子技术的关键所在，其战略意义远大于实际商业价值。

回到Grok-1模型上来，不可否认，Grok-1开源为国内许多行业带来了更多的创新机会，我们有理由相信，基于Grok-1开源模型的应用将迅速实现落地。然而，若Grok-1模型如安卓般占据机器人模型的主导地位，那些高度依赖Grok-1模型的企业恐将丧失对技术发展的主导权。

来源 | AI机器人时代、

如需咨询企业合作事宜，欢迎联系堂博士(13810423387，手机与微信同号)进行对接。

----------------END----------------

工业机器人企业

服务与特种机器人企业

医疗机器人企业

人形机器人企业

本地化部署超200万RMB 全球最大模型Grok-1开源 3140亿参数 超过GPT 3.5

正文

请到「今天看啥」查看全文

本地化部署超200万RMB 全球最大模型Grok-1开源 3140亿参数超过GPT 3.5