在这个AI技术日新月异的时代,算力已经成为制约AI研究的关键瓶颈。无论是顶尖高校还是科研机构,都在为算力不足而苦恼。然而,就在这个关键时刻,华为携手国内15所头部高校,共同打造出了科教创新卓越/孵化中心,通过产教融合、科教融汇,为高校科研算力困局提供了最强解法。
你是否曾想过,全美TOP 5高校的机器学习博士,竟然也会因为实验室缺少算力而苦恼?
2024年中旬,一位网友在reddit上的帖子引发了广泛讨论。
无独有偶,Nature的报道也揭露了全球学术界在GPU获取上面临的严峻挑战。
研究者们甚至需要排队申请学校GPU集群的使用时间,算力之稀缺可见一斑。
而在我国,GPU严重匮乏的问题同样普遍。有新闻曝出,某大学竟要求学生自备算力上课,这无疑将AI研究门槛推向了一个新的高度。算力瓶颈,让AI本身都变成了一件门槛极高的课程,更别提在AI领域做出突破性成果了。
与此同时,大模型、具身智能等前沿技术的迅猛发展,正在全球范围内引发人才短缺。
根据牛津大学教授的计算,在美国,要求具备AI技能的工作岗位比例增加了5倍。
放眼全球,技术人工智能(Tech-AI)的工作岗位增长了9倍,广义人工智能(Broad-AI)的工作岗位更是增长了11.3倍。
在这一时期内,亚洲的增长尤为显著。然而,尽管世界各地的大学都在试图帮助学生掌握关键的AI技能,但算力短缺却成为了一道难以逾越的鸿沟。AI人才紧缺与算力不足相互交织,加剧了这一危机。
面对这一困境,华为挺身而出,率先在我国高校布局算力解决方案。
华为与北大、清华、上交、浙大、中科大这5所顶尖高校共同签订了“鲲鹏昇腾科教创新卓越中心”的合作。
同时,华为还与复旦大学、哈尔滨工业大学、华中科技大学等10所高校开展了“鲲鹏昇腾科教创新孵化中心”的合作。
卓越中心和孵化中心的成立,是产教融合的典范。通过引入昇腾生态,弥补了高校的算力短缺,极大促进了更多科研成果的迸发。此外,华为还通过改革课程体系,以科研课题、产业课题、竞赛课题为驱动,培养计算产业的顶尖人才。通过攻坚体系架构、计算加速能力、算法能力、系统能力,力争孕育世界级的创新成果。
在AI赋能科研的过程中,GPU凭借其出色的性能和针对LLM训练和推理的强大能力,成为了各大公司疯抢的“黄金”。
然而,美国针对GPU的封锁,让我国在AI和科研领域的进展举步维艰。
为了跨越这道鸿沟,我们必须构建起自主完整的生态体系。
华为昇腾系列AI处理器承担起了重塑我国竞争力的重任。而在算力之上,华为还推出了自研的计算框架CANN,以适配NPU/AI处理器,并充分发挥其优势。CANN支持多种AI框架,包括PyTorch、TensorFlow以及华为自家的昇思MindSpore等。此外,CANN还提供了模型迁移工具,方便开发者将项目快速迁移到昇腾平台。
在异构计算架构CANN之上,华为还推出了全场景深度学习框架昇思MindSpore。昇思MindSpore填补了国内在这一领域的空缺,实现了真正的自主可控。它具备云边端全场景部署、原生支持大模型训练、支持AI+科学计算等关键特性,加速了国内科研创新和产业应用。
深度学习框架是AI开发者的必备工具。
几乎所有的AI开发者都需要用深度学习框架来实现DL算法和应用。
华为昇思MindSpore的出现,弥补了国内在这一领域的空白。
它构建了一个全场景协同且全流程极简的原生开发环境,让开发者能够更高效地进行AI开发。
此外,千行百业的推理应用才是释放AI价值的关键。华为推出了全场景AI推理加速引擎MindIE,它集成了业界最先进的推理加速技术,并继承了开源PyTorch的特性。MindIE能够释放昇腾硬件的极致算力,为用户提供高效、快速的深度学习推理解决方案。
平台搭好了,如何让高校的老师和学生们学会使用呢?
华为从2023年9月开始,陆续在北大、上交、浙大、中科大等高校举办了昇腾AI专场特训营。
特训营涵盖了昇腾领域CANN、MindSpore、MindIE等多方面的课程,让学生们不仅能详细了解核心技术,还有动手实践的机会。
这样的安排非常符合学生对于新知识的吸收特点。比如在上交场,第一天的课程会以迁移为主题,让学生了解昇腾AI基础软硬件解决方案等内容。第二天的课程则会以优化为主题,包括昇腾异构计算架构CANN、Ascend C算子开发等。迁移和优化课程的设置,可谓计之深远。
除了课程之外,华为还举办了算子挑战赛,挖掘算子开发精英。比赛鼓励开发者基于昇腾算力资源进行深度创新与实践,加速AI与行业融合。此外,基于鲲鹏或昇腾计算关键技术与工具进行学术研究的学生,还可以申报研究生奖学金。
在掌握了最新的技术及其应用之后,如何在AI日新月异的今天培育出真正具有突破性的科研成果呢?
北大和兔展的开源文生视频项目Open-Sora Plan就是一个很好的例子。
团队在筹备开源版Sora时,一度因算力和数据要求达不到而搁置。
好在北大与华为联手成立鲲鹏昇腾科教创新卓越中心,让团队迅速得到算力支持。
迁移昇腾生态后,团队发现了CANN的高效并行计算能力、Ascend C接口类库的简化开发流程等种种惊喜。短短一个月后,Open-Sora Plan就正式推出,获得了业内的极大认可。
东南大学的多模式交通大模型MT-GPT则体现出了昇腾算力在成果转化上的实际能力。团队借助昇腾AI的能力,加速了交通大模型的开发、训练、调优和部署。最终,MT-GPT为多模式交通系统任务中的多方位、多颗粒度的决策问题提供了数据驱动。
华为与15所高校的合作,不仅为高校提供了学术研究、科学创新的沃土,还培养了一大批AI顶尖人才,进而孵化出引领世界的科研成果。
随着国产化成为大势所趋,诸如鲲鹏/昇腾这类的国产技术栈,也将遍及到各个IT基础设施之上。
可以预见,在几年的孵化之后,掌握国产技术底座的科研人才将源源不断地将鲲鹏/昇腾技术路线发扬光大。华为领航,我们共创AI未来!在这个充满挑战与机遇的时代,让我们携手前行,共同迎接AI技术的美好明天!
关注我们,一起探索AI的无限可能!🚀✨
MORE | 延伸阅读