专栏名称: 36氪
36氪是中国领先的新商业媒体,提供最新锐最具深度的商业报道。我们强调趋势与价值,我们的slogan是:让一部分人先看到未来。
目录
相关文章推荐
新浪科技  ·  【#星舰第7次试飞定档1月14日#,发射10 ... ·  6 天前  
新浪科技  ·  【#海信发布全球首台RGBMiniLED电视 ... ·  1 周前  
51好读  ›  专栏  ›  36氪

「无问芯穹」完成近5亿元A轮融资,成立仅16个月已吸纳近10亿丨早起看早期

36氪  · 公众号  · 科技媒体  · 2024-09-05 08:05

主要观点总结

本文介绍了'无问芯穹'这家AI Infra(大模型基础设施)创业公司,该公司通过整合异构算力,让大模型落地更便宜,并提供AI的基础设施建设。公司通过软硬件联合优化技术和多元异构算力适配技术,提高芯片算力在大模型任务中的利用率和集群算力利用率。此外,公司还布局企业级基础设施、端侧LPU,并已经在商业化层面取得进展。

关键观点总结

关键观点1: “无问芯穹”获得近5亿元A轮融资,是国内AI Infra创业公司最大的单笔融资记录。

本轮融资由社保基金中关村自主创新专项基金等领投,跟投方包括联想创投、小米等战略投资方和多家国资基金及财务机构。

关键观点2: “无问芯穹”通过软硬件联合优化技术和多元异构算力适配技术,解决异构算力难以有效利用的问题。

公司自研的推理加速技术可以提升主流硬件推理效率2-4倍,并且已经在多种计算卡上完成适配。此外,公司还发布了大规模异构分布式混合训练系统HETHUB,实现了千卡规模的异构算力混合训练,集群算力利用率最高达到97.6%。

关键观点3: “无问芯穹”的目标是让大模型落地成本实现10000倍下降,成为大众触手可及的“水电煤”。

公司正在围绕“以电换Token”思路,展开AI的基础设施建设,并已经在商业化层面取得进展,包括与智谱联合发布大模型万卡训推计划、为猎聘旗下的AI大模型产品提供技术支持等。

关键观点4: “无问芯穹”布局企业级基础设施、端侧LPU,提供一站式AI平台和大模型服务平台。

公司的Infini-AI异构云平台提供算力服务,并且已经吸引多个大模型行业头部客户。此外,公司还打造“端模型+端芯片”闭环能力,帮助端侧场景快速增长和应用爆发。


正文

用“以电换Token”思路,展开AI的基础设施建设。



邱晓芬

编辑苏建勋

来源智能涌现(ID:AIEmergence)

封面来源视觉中国

智能涌现获悉,“无问芯穹”宣布完成近5亿元A轮融资。这也是目前为止,国内AI Infra(大模型基础设施)层创业公司最大的单笔融资记录。

本轮融资联合领投方为社保基金中关村自主创新专项基金(君联资本担任管理人)、启明创投和洪泰基金,跟投方包括联想创投、小米、软通高科等战略投资方,国开科创、上海人工智能产业投资基金(由临港科创投担任基金管理人)、徐汇科创投等国资基金,以及顺为资本、达晨财智、德同资本、尚势资本、森若玉坤、申万宏源、正景资本等财务机构。

“无问芯穹”联合创始人、CEO夏立雪表示,本轮投资将用于加强技术人才吸纳与技术研发,深入推动产品商业化发展并强化生态合作。

值得注意的是,成立仅仅16个月,“无问芯穹”的累计融资额已近10亿元。这家公司过往投资方还包括红杉中国、百度、智谱、同歌创投等。

整合异构算力,让大模型落地更便宜

近年来,国际上模型层与芯片层逐渐形成“双头收敛”格局,而中国的模型层与芯片层,却呈现由多种模型、多种芯片的格局。

这也导致了,不同硬件平台需要适配不同软件栈和工具链,异构芯片间长久存在着难以兼用的“生态竖井”现象。

而当越来越多国产异构算力芯片被应用于全国各地的算力集群中,异构算力难以被有效利用的问题日益严峻,逐渐成为中国大模型产业发展的瓶颈。

为此,“无问芯穹”从这一难题切入,通过软硬件联合优化技术,持续提升芯片算力在大模型任务中的利用率,并且,通过多元异构算力适配技术,“无问芯穹”尝试提升集群算力利用率,扩大行业整体算力供给。

夏立雪表示,在软硬件联合优化方面,“无问芯穹”自研的推理加速技术(FlashDecoding++),能够提升主流硬件推理效率2-4倍,且已经完成多个主流开源大模型在10余种计算卡(AMD、华为昇腾、壁仞、寒武纪、燧原、海光、天数智芯、沐曦、摩尔线程、NVIDIA)上的适配。

基于这一方案取得的优化效果,“无问芯穹”此前也与AMD签署战略合作,携手推动商用AI应用的性能提升。

在多元异构算力适配方面,“无问芯穹”今年7月发布的大规模异构分布式混合训练系统HETHUB,也是业内首次在六种芯片、“4+2”组合间(华为昇腾、天数智芯、沐曦、摩尔线程和AMD、NVIDIA),实现了千卡规模的异构算力混合训练,集群算力利用率最高达到97.6%,平均高出基准方案约30%。

这也意味着,在相同的异构算力条件下训练大模型时,“无问芯穹”可将训练总时长压缩30%

夏立雪表示,“无问芯穹”正在围绕“以电换Token”思路,展开AI的基础设施建设,他们的目标是,让大模型落地成本实现10000倍下降,成为大众触手可及的“水电煤”。

布局企业级基础设施、端侧LPU

“无问芯穹”在商业化层面进展迅速。

此前,“无问芯穹”已经和智谱联合发布大模型万卡训推计划,共建大模型训推万卡集群;猎聘旗下的AI大模型产品“多面”,背后也是“无问芯穹”的Infini-AI异构云平台在提供技术和产品支持。

夏立雪向智能涌现表示,Infini-AI异构云平台,正是由“无问芯穹”基于多元芯片算力底座打造,向下兼容多元异构算力芯片。这一平台所运营的算力,覆盖全国15座城市,成为目前拥有可运营算力规模最大的AI Infra创业公司

除了算力服务之外,Infini-AI异构云平台还包含一站式AI平台(AIStudio)和大模型服务平台(GenStudio),提供了适合于开发者的AI工具。

据介绍,“AIStudio一站式AI平台”,为机器学习开发者提供高性价比的开发调试、分布式训练与高性能推理工具;GenStudio大模型服务平台,则为大模型应用开发者提供了高性能、易上手的多场景大模型服务,降低开发成本和门槛。

据夏立雪介绍,自Infini-AI异构云平台上线以来,已有Kimi、LiblibAI、猎聘、生数科技、智谱AI等多个大模型行业头部客户,在Infini-AI异构云平台上稳定使用异构算力,享受“无问芯穹”提供的大模型开发工具链服务。

而随着大模型应用的规模化普及,未来推理任务的算力占比大概会达到 70~80%。但要运行动辄数十亿至数万亿参数规模的大语言模型,需要庞大的计算资源和内存带宽,构建和运营成本高昂

为此,LPU是端侧大模型的一项可选项,遵循算力利用率提升思路,“无问芯穹”在端侧大模型和LPU IP领域亦有布局。夏立雪向智能涌现表示,“无问芯穹”正打造“端模型+端芯片”闭环能力,帮助端侧场景快速增长和应用爆发。

36氪旗下AI公众号

真诚推荐你关注

点击关键词,查看最近的早起看早期
餐饮:「四叶咖」「爆爆姐螺蛳粉」「墨比优创」
医疗:「无忧跳动」「Glowe 阁楼」
文娱:「山漫文化」「集卡社」
教育办公:「推推(Tuitui)」「UPDF」
工业技术:「桥田智能」「贻如生物」「芯率智能」