本文介绍了'无问芯穹'这家AI Infra(大模型基础设施)创业公司,该公司通过整合异构算力,让大模型落地更便宜,并提供AI的基础设施建设。公司通过软硬件联合优化技术和多元异构算力适配技术,提高芯片算力在大模型任务中的利用率和集群算力利用率。此外,公司还布局企业级基础设施、端侧LPU,并已经在商业化层面取得进展。
本轮融资由社保基金中关村自主创新专项基金等领投,跟投方包括联想创投、小米等战略投资方和多家国资基金及财务机构。
公司自研的推理加速技术可以提升主流硬件推理效率2-4倍,并且已经在多种计算卡上完成适配。此外,公司还发布了大规模异构分布式混合训练系统HETHUB,实现了千卡规模的异构算力混合训练,集群算力利用率最高达到97.6%。
公司正在围绕“以电换Token”思路,展开AI的基础设施建设,并已经在商业化层面取得进展,包括与智谱联合发布大模型万卡训推计划、为猎聘旗下的AI大模型产品提供技术支持等。
公司的Infini-AI异构云平台提供算力服务,并且已经吸引多个大模型行业头部客户。此外,公司还打造“端模型+端芯片”闭环能力,帮助端侧场景快速增长和应用爆发。
用“以电换Token”思路,展开AI的基础设施建设。
文|邱晓芬
编辑|苏建勋
来源|智能涌现(ID:AIEmergence)
封面来源|视觉中国
智能涌现获悉,“无问芯穹”宣布完成近5亿元A轮融资。这也是目前为止,国内AI Infra(大模型基础设施)层创业公司最大的单笔融资记录。
本轮融资联合领投方为社保基金中关村自主创新专项基金(君联资本担任管理人)、启明创投和洪泰基金,跟投方包括联想创投、小米、软通高科等战略投资方,国开科创、上海人工智能产业投资基金(由临港科创投担任基金管理人)、徐汇科创投等国资基金,以及顺为资本、达晨财智、德同资本、尚势资本、森若玉坤、申万宏源、正景资本等财务机构。
“无问芯穹”联合创始人、CEO夏立雪表示,本轮投资将用于加强技术人才吸纳与技术研发,深入推动产品商业化发展并强化生态合作。
值得注意的是,成立仅仅16个月,“无问芯穹”的累计融资额已近10亿元。这家公司过往投资方还包括红杉中国、百度、智谱、同歌创投等。
整合异构算力,让大模型落地更便宜
近年来,国际上模型层与芯片层逐渐形成“双头收敛”格局,而中国的模型层与芯片层,却呈现由多种模型、多种芯片的格局。
这也导致了,不同硬件平台需要适配不同软件栈和工具链,异构芯片间长久存在着难以兼用的“生态竖井”现象。
而当越来越多国产异构算力芯片被应用于全国各地的算力集群中,异构算力难以被有效利用的问题日益严峻,逐渐成为中国大模型产业发展的瓶颈。
为此,“无问芯穹”从这一难题切入,通过软硬件联合优化技术,持续提升芯片算力在大模型任务中的利用率,并且,通过多元异构算力适配技术,“无问芯穹”尝试提升集群算力利用率,扩大行业整体算力供给。
夏立雪表示,在软硬件联合优化方面,“无问芯穹”自研的推理加速技术(FlashDecoding++),能够提升主流硬件推理效率2-4倍,且已经完成多个主流开源大模型在10余种计算卡(AMD、华为昇腾、壁仞、寒武纪、燧原、海光、天数智芯、沐曦、摩尔线程、NVIDIA)上的适配。
基于这一方案取得的优化效果,“无问芯穹”此前也与AMD签署战略合作,携手推动商用AI应用的性能提升。
在多元异构算力适配方面,“无问芯穹”今年7月发布的大规模异构分布式混合训练系统HETHUB,也是业内首次在六种芯片、“4+2”组合间(华为昇腾、天数智芯、沐曦、摩尔线程和AMD、NVIDIA),实现了千卡规模的异构算力混合训练,集群算力利用率最高达到97.6%,平均高出基准方案约30%。
这也意味着,在相同的异构算力条件下训练大模型时,“无问芯穹”可将训练总时长压缩30%。
夏立雪表示,“无问芯穹”正在围绕“以电换Token”思路,展开AI的基础设施建设,他们的目标是,让大模型落地成本实现10000倍下降,成为大众触手可及的“水电煤”。
布局企业级基础设施、端侧LPU
“无问芯穹”在商业化层面进展迅速。
此前,“无问芯穹”已经和智谱联合发布大模型万卡训推计划,共建大模型训推万卡集群;猎聘旗下的AI大模型产品“多面”,背后也是“无问芯穹”的Infini-AI异构云平台在提供技术和产品支持。
夏立雪向智能涌现表示,Infini-AI异构云平台,正是由“无问芯穹”基于多元芯片算力底座打造,向下兼容多元异构算力芯片。这一平台所运营的算力,覆盖全国15座城市,成为目前拥有可运营算力规模最大的AI Infra创业公司。
除了算力服务之外,Infini-AI异构云平台还包含一站式AI平台(AIStudio)和大模型服务平台(GenStudio),提供了适合于开发者的AI工具。
据介绍,“AIStudio一站式AI平台”,为机器学习开发者提供高性价比的开发调试、分布式训练与高性能推理工具;GenStudio大模型服务平台,则为大模型应用开发者提供了高性能、易上手的多场景大模型服务,降低开发成本和门槛。
据夏立雪介绍,自Infini-AI异构云平台上线以来,已有Kimi、LiblibAI、猎聘、生数科技、智谱AI等多个大模型行业头部客户,在Infini-AI异构云平台上稳定使用异构算力,享受“无问芯穹”提供的大模型开发工具链服务。
而随着大模型应用的规模化普及,未来推理任务的算力占比大概会达到 70~80%。但要运行动辄数十亿至数万亿参数规模的大语言模型,需要庞大的计算资源和内存带宽,构建和运营成本高昂
为此,LPU是端侧大模型的一项可选项,遵循算力利用率提升思路,“无问芯穹”在端侧大模型和LPU IP领域亦有布局。夏立雪向智能涌现表示,“无问芯穹”正打造“端模型+端芯片”闭环能力,帮助端侧场景快速增长和应用爆发。36氪旗下AI公众号
真诚推荐你关注