【博士论文】边缘分布式深度神经网络推理

专知 · 公众号 · · 2025-02-27 11:00

正文

随着深度神经网络（DNN）的日益复杂化，其计算需求常常超出了边缘设备的承载能力，而边缘设备通常资源有限。本论文探讨了在资源受限的边缘环境中高效且稳健地部署大型DNN的策略，其中“边缘”指的是位于数据源与云端之间的设备。在边缘部署DNN具有增强隐私性、效率和可靠性的优势，但也因边缘设备的资源受限而面临挑战。

论文分为两部分。第一部分解决了在多个资源受限的边缘设备上优化分区和部署DNN的挑战。AutoDiCE框架自动化了模型分区、代码生成和设备间的通信优化，同时通过设计空间探索（DSE）技术确定了最佳分布策略，以最小化能耗和内存使用，并最大化系统推理吞吐量。

第二部分着重于增强系统对设备故障或连接问题的鲁棒性。RobustDiCE通过优先处理关键神经元并在设备间部分复制它们，确保分布式推理的准确性，即使在故障情况下也能保持功能。此外，EASTER是一种针对大语言模型的类似分区方法，平衡了资源利用和鲁棒性。

总体而言，本论文提出了在边缘高效且容错的DNN部署创新解决方案，优化了资源利用并确保了可靠运行。所提出的方法推动了分布式边缘AI在资源受限环境中的应用。