当开源指令集 RISC-V 遇上 AI 大模型,会碰撞出怎样的未来图景?
中国科学院软件研究所工程师张旭阳和他所在的团队正在研究 AI 大模型在 RISC-V 架构上的多项应用与实践。
3 月 22 日,张旭阳将出席 OSC 源创会南京站活动,发表《RISC-V 上 AI 应用与实践》
,通过自主研发的 AI 助手展示如何借助 RISC-V 架构构建高效、灵活的 AI 助手,实现智能交互与数据处理。
同时张旭阳还将分享 Qwen、DeepSeek、LLama 和 Stable Diffusion 等知名模型在 RISC-V 上应用的最新进展
。
在活动开始前,我们和张旭阳简单聊了聊 RISC-V + AI 的技术创新与生态构建,欢迎想了解具体如何在 RISC-V 上构建 AI 应用的开发者到现场交流。
报名链接:
https://www.oschina.net/event/2423811
OSCHINA:RISC-V 对 AI 来说,是“乐高积木”还是“瑞士军刀”?
张旭阳:我觉得更像是乐高积木吧,因为 RISC-V 的架构更加开发,所以非常易于针对不同场景进行定制。用户根据不同的场景需要,定制化的设计芯片,可以扩展指令集,可以在 Soc 上集成各种类型的处理器。同时因为 RISC-V 的特性,做同样的工作,相比 x86 和 arm 来说,功耗更低。
OSCHINA:把 Qwen、DeepSeek 这些“大胖子”模型塞进 RISC-V,需要先帮它们“瘦身”吗?
张旭阳:我们都知道 Qwen 是阿里推出的一系列优秀的开源模型,Qwen 的优点就是,模型参数覆盖比较广,最小的模型参数只有 1.5b 。我们目前成功在基于 TH1520 的 RUYIBOOK 上跑通了 Qwen2.0-1.5B 的小模型,以及 DeepSeek-R1-Distill-Qwen-1.5B 模型。同时在算能 SG2042 和 SG2044 的环境上,跑通了 DeepSeek-R1-Distill-Qwen-1.5B,DeepSeek-R1-Distill-Qwen-7B 等模型,借助于 TPU 的算力,这些精简的模型也可以跑出相对不错的性能。
OSCHINA:RISC-V 架构上的自研 AI 助手突出优势是什么?
张旭阳:我们自研的 AI 助手,可以说是 RISC-V 的原住民,也是首款基于 RISC-V 桌面生态环境的原生开发的 AI 助手,它可以原生运行在我们的自研的开源 RISC-V 笔记本 RUYIBOOK 甲辰版上,除了基础的文字问答功能之外,还有图片理解,文生图,语音合成等多模态功能。同时借助大模型的能力,可以通过文字或者语音的方式直接对操作系统做一些基础的控制。比如说调节音量,调节屏幕亮度,打开关闭应用,搜索文件并打开等。
OSCHINA:Stable Diffusion 在 RISC-V 上画图,实测生成一张图要多久?效果如何?
张旭阳:目前基于算能 SG2044 的测试情况,在 TPU 加速情况下,StableDiffusionV1.5 模型生成一张图大约 5-6s,StableDiffusionXL 模型生成一张图大约是 40-50s。
OSCHINA:开发者最怕“从入门到放弃”,有没有开箱即用的工具包?
张旭阳:可以关注一下中科院软件所 PLCT 实验室所出的 RuyiSDK 开发工具集。
RISC-V 开发板镜像相关信息以及下载、安装教程,便于开发者获取相关镜像(换而言之提供一个镜像站),其中涵盖多种操作系统(如基于 Debian 的 RevyOS、openEuler RISC-V 等)提供给开发者使用。
提供 RISC-V 开发板对应的演示程序、开发资料和相关工具(含适用的编译工具链、模拟器等)的信息维护和下载,方便 RISC-V 开发者快速上手。
在集成开发环境中增加 RISC-V 设备专有向导页面、实现开发环境和运行环境的文件传输、支持在 RISC-V 设备上调试应用程序等。
OSCHINA:玩转 RISC-V + AI 需要点亮哪些技能树?