专注AIGC领域的专业社区，关注微软&OpenAI、百度文心一言、讯飞星火等大语言模型（LLM）的发展和
应用
落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！
大模型云平台Groq宣布获得6.4亿美元D轮融资，估值达到28亿美元。本轮由贝莱德私募股权投资、三星催化剂基金、思科投资、Neuberger Berman等联合投资。
同时前惠普、英特尔高级执行官Stuart Pann加入其领导团队担任首席运营官，还获得了最新技术顾问 Meta 副总裁兼首席人工智能科学家 Yann LeCun 的世界级专业知识。
Groq通过自研的软件和硬件打造了大模型云平台“Groq Cloud”，提供Meta的Llama系列、谷歌的Gemma系列和OpenAI的Whisper等知名开源大模型的推理、部署、微调等服务，目前拥有开发者用户超30万名。
Groq Cloud平台使用的是自研AI芯片LPU，对标英伟达的GPU系列。Groq的 LPU架构设计采用了一种独特的垂直集成方法，不仅包含了硬件层面的创新，还进行了软件优化提供了更快、更便宜的大模型推理。
LPU的架构打破了传统的计算模式，专注于降低延迟和提高模型吞吐量，以满足生成式AI应用对于速度和响应性的需求。例如，Meta在2023年3月发布的Llama 2开源模型时，Groq LPU的推理效率成为当时最快的云平台。
随后，前不久Meta发布Llama 3.1系列开源模型时，Groq再次证明了其在处理大规模语言模型方面的优势，能够以极高的速度运行这些模型，提供前所未有的响应速度。
根据测试数据显示，Groq在Llama 3 70B模型上的吞吐量达到了每秒284个token，比其他云平台快3—11倍，而总响应时间仅为0.6秒，展示了其在低延迟和高吞吐量之间的出色平衡。
此外，LPU的设计考虑了易用性，它能够轻松集成到现有的系统和工作流中，无论是小型部署还是大规模分布式系统，都可以通过LPU灵活地配置和扩展。
软件优先的设计不仅加快了新模型的集成和优化速度，还让LPU支持多种AI框架和工具，包括流行的TensorFlow、PyTorch等，为开发者提供了在熟悉环境下工作的便利。
Groq的CEO介绍其平台
这种灵活性和对多种工具的支持，进一步扩展了LPU的应用范围，使其可以广泛应用于自然语言处理、图像和视频分析、推荐系统、语音识别等多个领域，适用于自动驾驶、监控系统、医疗影像分析等业务场景。
为了进一步扩大其AI推理计算能力，Groq计划在2025年第一季度末之前部署超过10.8万个自研的LPUs，这将是任何非超大规模企业的最大AI芯片部署，将显著提升Groq Cloud的容量和性能，以满足不断增长的开发者和企业需求。
三星半导体创新中心负责人、三星电子执行副总裁Marco Chisari表示
，三星催化剂基金非常高兴支持Groq。我们对Groq的颠覆性计算架构和以软件为先的方法印象深刻。Groq在生成AI推理性能方面和超快的效率，在市场上处于领先地位。
Groq首席执行官兼创始人Jonathan Ross表示
，没有推理计算就无法驱动AI。本次融资将帮助我们能够在Groq Cloud上部署超过10万个额外的LPU，可以帮助更多的中小企业和个人开发者快速部署大模型。
本文素材来源
Groq官网
，如有侵权请联系删除
END
