燧原科技与飞桨大模型工具链完成推理 I 级适配

近日， 燧原科技的新一代人工智能推理加速卡燧原S60与飞桨已完成大模型推理I 级兼容性测试，成为国内首家完成适配认证的芯片厂商。 这是燧原科技加入飞桨“硬件生态共创计划”后的阶段性成果。

本次推理 I 级兼容性测试完成了对大模型Llama-13B的验证。经过双方联合严格测试，燧原S60在Llama-13B模型上的精度、首字延迟及tokens吞吐率指标均达到飞桨大模型工具链I级认证要求，且兼容性良好，整体运行稳定，可以满足用户的实际应用场景需求。

飞桨大模型工具链适配认证是飞桨芯片适配认证标准的一部分，基于芯片+飞桨的大模型支持能力，针对调优、训练、推理等功能分别验证，在精度、性能、稳定性等维度设定验收要求，通过双方测试后发布兼容性证明。更多关于适配认证的具体内容可在以下链接中获取详细信息：

飞桨大模型工具链适配认证标准：

https://github.com/PaddlePaddle/community/blob/master/working_groups/Maturity_Model_for_PaddleLargeModelToolChain_Hardware_Adaptation.md

为了让小伙伴们更快速地了解飞桨与燧原之间的适配工作，以及基于燧原S60进行大模型开发的操作技巧，双方研发工程师将于9月10日（周二）20:00-21:00为大家直播分享。赶快扫描下方海报二维码预约报名！

燧原S60是面向数据中心大规模部署的新一代人工智能推理加速卡，满足大语言模型、搜广推及传统模型的需求，具有模型覆盖面广、易用性强、易迁移易部署等特点，可广泛应用于图像及文本生成等应用、搜索与推荐、文本、图像及语音识别等主流推理场景。