国产GPU如何系统性的解决大模型算力难题 | 演讲预告

智能车情报局 · 公众号 · · 2024-08-24 20:46

正文

生成式AI时代，大模型及AIGC的快速发展推动着计算需求的高速增长。

从服务器到边缘，再到AI手机、AI PC、AIoT、智能汽车，各个领域的AI芯片玩家都面临着新的机遇和挑战。

AI大模型与各个赛道的结合，带来了新的体验革新，这些新体验的落地则离不开各类AI芯片的支撑。放眼全球，产业格局的激烈变动，也让更多中国AI芯片企业看到了新的发展机会。

与此同时，芯片设计的复杂度不断提升、产品快速量产上市的要求不断增加、新兴应用市场不断涌现，投资和成本的压力也水涨船高。

AI芯片作为AI产业发展的“基石”，是实现AI产业化落地的核心力量，对AI技术的进步和行业应用都起着决定性作用。

如今各路AI芯片创企可谓是百家争鸣，群雄逐鹿成为国内AI芯片产业的主基调。在这样的产业背景下，我们将全球顶级AI芯片产学研用及投融资领域专家们聚集起来，为他们提供思想交锋、观点碰撞的平台。

9月6-7日，2024全球AI芯片峰会（GACS 2024）将在北京盛大举办。全球AI芯片峰会至今已成功举办六届，现已成为国内规模最大、规格最高、影响力最强的产业峰会之一。

本届峰会由芯东西与智猩猩共同主办，以「智算纪元共筑芯路」为主题。峰会采用“主会议+技术论坛+展览展示”的全新形式。主会议由一场开幕式，以及数据中心AI芯片、AI芯片架构创新、边缘/端侧AI芯片三场专场会议组成，将在主会场进行；技术论坛分为Chiplet关键技术论坛（收费制）、智算集群技术论坛（收费制）和中国RISC-V计算芯片创新论坛，将在分会场进行。

峰会同期还将布设展区，展示AI芯片产业链优秀企业的最新技术、产品与方案。同时，峰会期间，还将重磅揭晓两大AIIP AI生产力创新先锋企业榜单，分别是2024年度中国智算集群解决方案企业TOP 20、2024年度中国AI芯片新锐企业TOP 10。

目前， 壁仞科技副总裁兼AI软件首席架构师 丁云帆 已确定出席，将在 数据中心AI芯片专场 带来演讲，主题为 《国产GPU如何系统性的解决大模型算力难题》 。

嘉宾介绍

丁云帆，现任壁仞科技副总裁兼AI软件首席架构师，主要负责AI软件架构和大模型千卡集群等相关工作。代表壁仞担任全国信息技术标准化技术委员会人工智能分委会智能计算工作组联合组长和中国人工智能产业发展联盟芯片工作组副组长。曾担任百度主任系统架构师，获得过百度技术最高奖和中国国家专利优秀奖。参与主导AI加速基础架构国际标准OAI & OAM。业界首创利用GPU架构解决广告推荐场景10TB级稀疏参数大模型训练挑战，相关成果发表在机器学习与系统领域顶会MLSys上，该工作引领了互联网广告推荐领域训练框架技术发展趋势。

演讲概要

以ChatGPT为代表的大模型技术引发了新一轮的科技革命，国内外呈现了百模争艳的状态，并且已经开始了广泛的应用落地。大模型的训练和落地带来了巨大的算力需求，以LLaMA3 千亿参数为例，Meta建设了18000个H100的集群来满足训练需求。目前国内存在着较大的算力供应瓶颈，这也给国产AI芯片带来了巨大机遇，国产千卡集群在逐步落地应用。大模型训练是一个系统工程，需要软硬件协同，算法与工程协同，对计算机体系结构如计算、存储、通信都带来了巨大挑战，另外千卡集群对并行扩展、稳定可靠、弹性伸缩提出了更高的要求，同时不同异构GPU集群形成了算力孤岛，如何实现异构GPU协同训练通过算力聚合共同训练大模型非常关键。针对上述挑战，壁仞科技基于其高性能国产GPU打造了软硬一体、全栈优化、异构协同、开源开放的大模型整体解决方案。

本次演讲将从硬件集群算力、软件有效算力、异构聚合算力三个维度分享壁仞科技如何系统性的解决大模型算力难题。

国产GPU如何系统性的解决大模型算力难题 | 演讲预告

正文

请到「今天看啥」查看全文