西电大最新UVA轨迹优化算法！从 QMIX 到 QEDGIX：无监督学习的飞跃与无人机智能规划的突破！

0.这篇文章干了啥？

这篇文章提出了一种名为 Qedgix 的多智能体强化学习 (MARL) 算法，旨在优化无人机 (UAV) 的轨迹规划，以提高用户数据收集的效率。通过将 EdgeConv 集成到 QMIX 框架中，作者改进了无人机在动态环境中的信息感知和决策能力，从而减少了用户数据的平均到达时间 (AoI)。实验结果表明，Qedgix 算法在处理复杂环境信息、提高轨迹规划性能和优化数据收集方面表现优于现有的方法。未来的研究将关注于数据包大小对数据收集过程的影响，以及进一步提升无人机的能效。

下面一起来阅读一下这项工作~

1. 论文信息

论文题目：GNN-Empowered Effective Partial Observation MARL Method for AoI Management in Multi-UAV Network

作者：Yuhao Pan, Xiucheng Wang等

作者机构：西安电子科技大学等

论文链接：https://arxiv.org/pdf/2409.00036

2. 摘要

由于成本低廉和灵活性高，无人机（UAVs）已被广泛应用于各种场景，以提升网络性能。然而，在未知区域或缺乏充分先验信息的区域中，无人机轨迹优化仍面临规划性能差和分布式执行效率低等挑战。这些挑战在无人机仅依赖自身观测信息和其通信范围内的其他无人机信息，而无法获取全局信息时尤为明显。为了解决这些挑战，本文提出了Qedgix框架，该框架结合了图神经网络（GNNs）和QMIX算法，以实现对未知场景中用户信息年龄（AoI）的分布式优化。该框架利用GNNs从无人机、可观测范围内的用户以及通信范围内的其他无人机中提取信息，从而实现有效的无人机轨迹规划。由于AoI指标的离散化和时间特性，Qedgix框架采用QMIX算法对分布式部分可观测马尔可夫决策过程（DecPOMDP）进行优化，并基于集中训练和分布式执行（CTDE）优化用户的平均AoI值。通过将无人机网络优化问题建模为AoI问题，并应用Kolmogorov-Arnold表示定理，Qedgix框架通过基于排列不变性的参数共享实现了高效的神经网络训练。仿真结果表明，所提算法显著提高了收敛速度，同时降低了用户的平均AoI值。代码可在 https://github.com/UNIC-Lab/Qedgix 上获取。

3. 效果展示

子图(a)-(b)显示了三架无人机和六名用户的场景轨迹。子图(c)-(d)显示了三架无人机和八名用户的场景轨迹。

4. 主要贡献

• 将旨在优化平均AoI值的分布式无人机轨迹规划问题建模为分布式部分可观测马尔可夫决策过程（Dec-POMDP）。我们证明了用户平均AoI在无人机位置方面是排列不变的。
• 利用优化问题的排列不变性和Kolmogorov-Arnold表示定理，我们提出了一种高效的分布式AoI优化方法，该方法使用具有排列不变特性的GNN和QMIX级联架构。GNN用于提取无人机和用户的特征，并在分布式执行期间优化无人机的移动。QMIX网络将用户平均AoI值的离散时间序列索引转化为有效的梯度，更新GNN参数，然后在执行期间省略，以促进分布式优化。 推荐课程： 零基础入门四旋翼建模与控制(MATLAB仿真)[理论+实战] 。
• 大量仿真实验表明，所提出的方法在性能和收敛速度方面优于单独使用QMIX或QMIX与GNN结合的方法。

5. 基本原理是啥？

1. 多智能体强化学习（MARL） ：这是一个研究如何在多智能体环境中进行学习和决策的领域。在这种环境中，多个智能体（如无人机）需要相互协作或竞争以达到共同目标。

2. QMIX 框架 ：QMIX 是一种多智能体强化学习算法，它通过一个混合器网络（mixer network）将各个智能体的局部策略信息整合起来，优化整体系统的性能。QMIX 主要由两个组件组成：智能体模型（agent model）和混合器网络（mixer network）。

3. EdgeConv ：这是一个图神经网络中的卷积操作，用于处理图结构数据。它通过对节点的邻居信息进行聚合，能够有效捕捉节点之间的局部连接模式。在 Qedgix 算法中，EdgeConv 被用来增强智能体模型的结构，以更好地处理复杂的环境信息。

4. 动态节点建模 ：在 Qedgix 算法中，无人机和用户被建模为动态节点，意味着它们的位置和状态是不断变化的。通过在隐藏层进行消息传递，算法能够更好地捕捉这些动态特性，从而提高策略网络的感知能力和决策能力。

5. 分布式优化 ：Qe gix 算法通过其分布式优化特性，减少了对集中式控制器的计算要求。这使得算法可以在未知环境中仅基于可观测状态进行有效的轨迹规划。

6. 图神经网络（GNN） ：Qe gix 算法结合了图神经网络，以处理复杂的环境信息和多智能体之间的关系。GNN 能够在图结构数据中进行信息的有效传播和处理，从而增强了智能体的环境感知能力。

6. 实验结果

1. 算法性能比较 ：

• Qedgix算法 ：在收敛速度和性能稳定性方面表现优异，明显优于其他算法。该算法通过将EdgeConv与QMIX框架结合，有效处理了复杂环境信息，展示了卓越的优化能力。
• QMIX算法 ：作为基准算法，展示了较快的初期收敛速度，但在长时间训练中未能保持稳定的性能。
• 算法3（RNN+AggGNN）和算法4（RNN+RGCN） ：这两种算法在复杂任务中表现出良好的收敛性，但相较于Qedgix，性能略逊一筹。它们由于其图神经网络的设计，不能完全适应动态多智能体控制任务的特性。

• 数据收集效率 ：Qedgix算法优化了无人机的轨迹，使得无人机在收集用户数据时的路径规划更加高效。在用户数据收集过程中，无人机展示了更为优化的轨迹，相比于其他算法，更好地覆盖了任务区域。
• 实验设置 ：在3架无人机与6个用户和3架无人机与8个用户的设置下，Qedgix算法有效提高了用户数据的收集效率，并展示了更优的轨迹规划能力。

• 性能优势 ：Qedgix算法通过结合图神经网络显著提升了对复杂环境信息的处理能力，在优化无人机轨迹和数据收集方面表现出色。
• 计算需求 ：与集中式控制器相比，Qedgix算法的分布式优化特性降低了计算需求，提高了无人机网络的规划性能。

7. 总结 & 未来工作

在本文中，我们探讨了一种用于无人机轨迹规划的多智能体强化学习（MARL）算法，旨在优化无人机作为移动接入节点进行用户数据收集的场景。通过将 EdgeConv 集成到 QMIX 框架中，我们提出了 Qedgix 算法，以优化无人机轨迹并最小化用户数据的平均年龄（AoI）值。我们将无人机和用户建模为动态节点，并进行隐藏层消息传递，显著增强了策略网络感知复杂环境信息的能力。实验结果表明，Qe gix 算法结合了图神经网络，能够出色地处理复杂环境信息，并在实际应用场景中表现优越。我们的方法通过其分布式优化特性可以减少对集中式控制器的计算能力要求，从而在未知环境中基于可观测状态提高无人机网络的轨迹规划性能。未来的工作将考虑用户数据包大小变化对数据收集过程的影响，并旨在优化无人机的能效，进一步提升算法的整体性能和实际价值。同时，由于近期研究报告指出神经网络的固有梯度基础弱点，我们还将研究我们的模型在这些脆弱性方面的抗性。。

本文仅做学术分享，如有侵权，请联系删文。

3D视觉交流群，成立啦！

目前我们已经建立了3D视觉方向多个社群，包括 2D计算机视觉 、 最前沿 、 工业3D视觉 、 SLAM 、 自动驾驶 、 三维重建 、 无人机 等方向，细分群包括：

工业3D视觉 ：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

SLAM ：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

自动驾驶：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。

三维重建 ：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

无人机 ：四旋翼建模、无人机飞控等

2D计算机视觉 ：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等

最前沿 ：具身智能、大模型、Mamba、扩散模型等

除了这些，还有 求职 、 硬件选型 、 视觉产品落地、产品、行业新闻 等交流群

添加小助理: cv3d001，备注： 研究方向+学校/公司+昵称 （如 3D点云+清华+小草莓 ）, 拉你入群。

3D视觉工坊知识星球