第八届全国大学生集成电路创新创业大赛
全国总决赛武汉大学获奖情况
在常胜、王豪两位老师的指导下,物理科学与技术学院的张智涵、史星宇和李展组成团队,专注于人工智能芯片的开发与应用,致力于推动国产AI芯片替代国外AI芯片的研究。现有的目标检测算法在自动驾驶、缺陷检测等众多领域应用广泛,但很多设计只对单个算法做加速,且难以与硬件平台匹配。基于上述两大问题,团队成员们将本次比赛的研究主题定为“基于算能 BM1684X 的多架构目标检测通用性加速”。
要解决上述的两个问题,单看不同架构在性能指标上的优势是不够的,还需针对实际的应用场景需求偏好,选择对应优势的架构算法。性能包括处理每帧图片的速度,目标检测准确度与功率等,而在具体的研究中,需要通过软件端目标检测算法与硬件端底层算子协同开发,实现多架构支持,这中间沟通的桥梁则是AI算法编译器。那对于不支持的算子,如何实现其功能上的支持呢?团队成员将其比喻为“从山峰的两边打通一个隧道”,需要考虑不支持的算子在硬件端与软件端的开发与部署成本,再选择怎样折中处理。
在研究设计方面,三点独到的设计使团队脱颖而出。基于transformer的大语言模型在各领域效果显著,团队将其与目标检测边缘部署做了融合,实现了检测性能的提升。其次,团队为算能国产TPU开发了外部接口,顺利实现本地和远程的实时视频目标检测,并将其投入到实际生产中,用于电网工人的安全监管。另外,团队真正做到了产学融合,将学术界正在研究的多项技术融入到目标检测实际应用上。
团队之所以能取得桂冠,实现技术和理论的多重创新,离不开团队成员的紧密协作。团队三位成员各司其职,又互相帮助,在遇到研究瓶颈时,团队成员们主动了解其他技术实现形式,获得灵感。指导老师王豪老师与常胜老师为团队成员们提供学术前沿领域的方向指导,不仅显著提升了性能的准确度,还为硬件部署加速带来了许多的提升空间。
▲从左至右:常胜老师 张智涵 李展 史星宇 王豪老师
在未来,团队成员们将积极与算能企业沟通,把课题组的学术研究成果融入产品,助力国产TPU的开发,为我国集成电路发展和工程应用贡献力量。
同样取得国赛一等奖成绩的,是由电子信息学院的桂林、肖裕婷、郑文奇三人组成的队伍,他们在范赐恩老师指导下完成了“基于Duo256M的智能跟随摄像机器人设计”作品,实现了机器人小车跟拍和画面同步网页端功能。
项目设计的初衷是希望能够制作出一款自动跟随陪伴的“电子宠物”,范赐恩老师则指导队员们结合实际生活,人潮涌动的樱花季的灵感随之涌现,队员们结合当下繁荣的自媒体行业,将设计应用落脚在能协助拍摄的跟拍机器人上。
产品以DUO256M开发板为核心,利用双目摄像头完成目标位置定位功能,进而控制机器人跟随主播进行拍摄,辅之以智能语音助手控制直播的开始与暂停,再用板端进行硬件编码加速处理拍摄到的画面,将其上传至服务器,再传输至网页端供观众观看。要实现上述应用,关键在项目核心——Duo256M。Duo256M是一个基于SG2002芯片的超紧凑嵌入式开发平台,允许Linux和RTOS的运行。该平台具备的低成本、高性能等优势为拓展产品外设提供丰富的硬件资源。
即便如此,项目的推进仍旧面临诸多挑战,尤其面对环境适应性问题。基于跟随功能要求的实时性和自媒体拍摄对光的高需求等条件,团队在比赛中着重探讨了光照变化对跟随效果的影响,并落脚在目标检测和测距的效果上。环境适应性的另一大问题是多人场景以及画面遮挡问题。为了保证摄像机器人能够正确识别并跟随目标,团队在YOLO目标检测的基础上,采用了融合OSNet的DeepSORT算法实现多目标跟踪,该算法能够基于OSNet提取的目标的外观特征和卡尔曼滤波计算的运动信息进行级联匹配,即使目标短暂消失或被遮挡,也能实现较好的维持跟踪。
团队能遥遥领先于一众队伍,少不了团队成员们全身心投入备赛,和范赐恩老师的关键性指导。在每周一次的小组汇报中,指导老师与团队成员们积极交流,共同讨论,实现了一次次突破性进展,包括使用低成本的DUO进行尝试和增加网页直播与语音的功能以丰富产品等等。
对于未来的智能机器人开发,还有众多前沿技术和创新应用场景值得进一步探索。团队成员表示,希望有朝一日实现AI摄像师的畅想。
一直以来,无论获得怎样的奖项,武大学子对集成电路世界的探究之心从未泯灭,一份份作品的背后凝聚的不单是夜以继日的汗水,更是所有参赛选手们对未来的无尽畅想与付诸实践的勇气。
凡“芯”所向 素履以往
生如逆旅 一苇以航
他们在对未来的畅想中遨游
也在解决现实问题中脚踏实地
用芯片之光点燃时代的火炬
用芯片之力托举国家之未来
封面图:曹海钢
图片:由受访者提供
采访:段懿恬
文案:李秋宇
编辑/责编:段懿恬
审核:张佳宁
投稿邮箱:[email protected]
一起为获奖团队点个“赞”,再点个“在看”