【博引航标】优博微展2024 — 计算机学院孙庆骁《面向GPU的性能调优与多任务资源共享研究》

异构架构在超算系统构建层面被广泛接受，而加速器成为超级计算机性能和能耗的主体，如何充分利用昂贵的加速器资源成为超算领域的热点问题。本文提出的系统性优化方法和技术能够为未来架构的设计方向提供指导，对于保证资源充分利用和应用服务质量具有重要意义。

具体来说，本文面向具有CPU和GPU的混合异构环境开展了性能调优与多任务资源共享研究，以科学计算和深度学习负载为对象，首先针对独占模式下的典型算法设计自动调优策略，再基于时空共享实现并发模式下的高效处理机制。本文从硬件和软件两个角度实现内核层次和应用层次（图神经网络）的资源共享。本文还考虑优化策略和参数设置两个级别，实现典型科学算子（stencil计算和张量计算）的性能调优。

本文的创新性技术已被推广到科技创新重大项目和国家自然科学基金重点项目。创新点如下：

1、针对高维卷积不能有效处理稀疏张量输入的问题，本文实现了基于监督学习和无监督学习并结合张量转换和特征提取的自动张量格式选择框架。

（1） Qingxiao Sun , Yi Liu, Hailong Yang, Ruizhe Zhang, Ming Dun, Mingzhen Li, Xiaoyan Liu, Wencong Xiao, Yong Li, Zhongzhi Luan and Depei Qian. CoGNN: Efficient Scheduling for Concurrent GNN Training on GPUs[C]. International Conference for High Performance Computing, Networking, Storage and Analysis (SC ’22), 2022. CCF-A

（2） Qingxiao Sun , Yi Liu, Ming Dun, Hailong Yang, Zhongzhi Luan, Lin Gan, Guangwen Yang, and Depei Qian. SpTFS: Sparse Tensor Format Selection for MTTKRP via Deep Learning[C]. International Conference for High Performance Computing, Networking, Storage and Analysis (SC ’20), 2020. CCF-A

（3） Qingxiao Sun , Yi Liu, Ming Dun, Hailong Yang, Zhongzhi Luan, Lin Gan, Guangwen Yang, and Depei Qian. Input-aware Sparse Tensor Storage Format Selection for Optimizing MTTKRP[J]. IEEE Transactions on Computers (TC), 2022. CCF-A IEEE Computer Spotlight Column

（4） Qingxiao Sun , Yi Liu, Hailong Yang, Zhonghui Jiang, Zhongzhi Luan, and Depei Qian. Adaptive Auto-Tuning Framework for Global Exploration of Stencil Optimization on GPUs[J]. IEEE Transactions on Parallel and Distributed Systems (TPDS), 2024. CCF-A

（5） Qingxiao Sun , Yi Liu, Hailong Yang, Zhonghui Jiang, Xiaoyan Liu, Ming Dun, Zhongzhi Luan, and Depei Qian. csTuner: Scalable Auto-tuning Framework for Complex Stencil Computation on GPUs[C]. IEEE International Conference on Cluster Computing (CLUSTER ’21), 2021. CCF-B 最佳论文提名

我希望从个人经历出发，分享一下在读博期间的感悟。在寻找创新点方面，首先要明确一个大方向，然后进行充分的文献调研。在这个过程中，多动手实践是必不可少的，只有这样才能发现先前工作的问题所在。

在心理调适方面，每位博士生，除非是天资超群，都会或多或少地经历怀疑自己的阶段。有时候，不能过于钻牛角尖，需要跳出来以不同的视角审视问题。此外，与人交流和适度运动也是至关重要的，这样做不仅能促进头脑的转换，还可以很大程度上缓解自身压力，形成积极乐观的心态。