突破深度传感器依赖！NVIDIA新作DextrAH-RGB：如何让机器人从RGB图像中学习抓取技能？

0.这篇文章干了啥？

这篇文章提出了一种新型的多模态智能信道模型，专为6G低空交通通信系统中的多无人机到多车辆通信设计。该模型结合了时延扩展（TTD）和空时延扩展（ATD），能够捕捉信道的非平稳性以及在时间、空间和频率领域中的一致性。通过构建新的MUMV-CSCI数据集，包括信道信息和LiDAR点云，模型在不同TTD和ATD条件下进行了参数化，并准确表征了静态散射物、地面动态散射物和空中动态散射物的信道特性。仿真结果表明，该模型能有效捕捉关键信道统计特性，并在低空交通通信系统中表现出良好的应用潜力，为未来6G通信系统提供了有力支持。

下面一起来阅读一下这项工作~

1. 论文信息

论文题目：A Multi-modal Intelligent Channel Model for 6G Multi-UAV-to-Multi-Vehicle Communications

作者：Lu Bai,Mengyuan Lu等

作者机构：SDU-NTU Centre for Artificial Intelligence Research (C-FAIR), Shandong University等

论文链接：https://arxiv.org/pdf/2501.08825

2. 摘要

本文提出了一种新型的多模态智能信道模型，用于第六代（6G）多无人机（多-UAV）与多车辆通信。为了深入探讨复杂的多-UAV与多车辆场景中物理环境与电磁空间之间的映射关系，提出了两个新参数，即地面交通密度（TTD）和空中交通密度（ATD），并在不同TTD和ATD条件下，在郊区场景中构建了一个新的感知-通信智能集成数据集。在感知数据（如激光雷达（LiDAR）点云）的帮助下，量化了在不同TTD和ATD条件下，物理环境中静态散射体、地面动态散射体和空中动态散射体在电磁空间中的参数，如数量、距离、角度和功率。所提出的模型同时模拟了信道在时间和空间域上的非平稳性与一致性，以及在频率域上的非平稳性。导出了信道统计特性，如时空频相关函数（TSF-CF）、时间平稳间隔（TSI）和多普勒功率谱密度（DPSD），并进行了仿真。仿真结果与射线追踪（RT）结果高度吻合，验证了所提出的多-UAV与多车辆信道模型的准确性。

3. 效果展示

多无人机到多车辆场景下的无人机飞行轨迹。图（a）–（c）分别表示在高、中、低时延扩展（TTD）和空时延扩展（ATD）条件下，Wireless InSite中的无人机飞行轨迹。

4. 主要贡献

• 为了更准确地模拟智能网络低空交通信道，提出了一种新型的多模态智能信道模型，用于6G多-UAV与多车辆通信。所提出的模型首次在UAV与地面信道建模中考虑了地面交通密度（TTD）和空中交通密度（ATD）的影响。此外，提出了一种新型的LiDAR辅助的时间和空间非平稳性及一致性算法，用于同时描绘时间和空间域上的信道非平稳性与一致性，以及频率域上的信道非平稳性。
• 为了深入探讨复杂的多-UAV与多车辆场景中物理环境与电磁空间之间的映射关系，构建了一个新的多-UAV与多车辆合作感知-通信集成（MUMV-CSCI）数据集，该数据集包含了不同TTD和ATD条件下的信道信息和LiDAR点云，并考虑了电磁空间中的多样性，即多个UAV和车辆之间的信道，以及物理环境中的多样性，即不同TTD和ATD条件下的环境。
• 借助物理环境中的感知信息（即LiDAR点云），首次将多-UAV与多车辆信道中的散射体分为静态散射体、地面动态散射体和空中动态散射体。为此，提出了一种新型的多-UAV与多车辆信道参数表，列出了在不同TTD和ATD条件下，郊区场景中动态和静态散射体的数量、距离、角度和功率等参数。 推荐课程： 国内首个面向具身智能方向的理论与实战课程 。
• 推导并仿真了多-UAV与多车辆信道的统计特性，包括时空频相关函数（TSF-CF）、时间平稳间隔（TSI）和多普勒功率谱密度（DPSD）。基于仿真结果，研究了不同TTD和ATD条件对信道统计特性的影响。仿真结果与基于RT的结果高度一致，验证了所提出的多-UAV与多车辆信道模型。

5. 基本原理是啥？

1. 融合时延扩展（TTD）和空时延扩展（ATD） ：该模型通过引入时延扩展（TTD）和空时延扩展（ATD），捕捉信道的非平稳性。时延扩展描述了信号在时间上的传播延迟，而空时延扩展则考虑了信号在空间上的传播变化。这样可以更准确地反映信道的动态特性。

2. 捕捉信道一致性 ：模型考虑了信道在时间、空间和频域上的一致性，能够在多维度上捕捉信道的相关性和变化规律。

3. MUMV-CSCI 数据集 ：构建了一个包含信道信息和激光雷达点云数据的数据集，旨在提供多无人机与多车辆通信环境下的信道特性。这些数据可以用来在不同的时延扩展和空时延扩展条件下进行模型参数化。

4. 静态与动态散射物建模 ：模型对静态散射物、地面动态散射物和空中动态散射物进行了准确建模，利用统计分布来描述它们的传播特性。这有助于更好地理解信号在复杂环境中的传播行为。

5. 仿真与验证 ：通过与基于RT的数据进行对比，仿真结果表明，该模型能够有效捕捉信道的关键统计特性，具备良好的预测能力，并适用于未来6G低空交通通信系统。

6. 实验结果

1. 模型验证 ：仿真结果表明，提出的多模态智能信道模型能够准确地捕捉到信道的关键统计特性。通过与基于RT（射线追踪）方法得到的数据进行对比，实验验证了该模型在多无人机和多车辆通信环境下的有效性。

2. 信道特性捕捉能力 ：模型成功地捕捉到了不同类型的散射物（包括静态散射物、地面动态散射物和空中动态散射物）对信号传播的影响，能够描述这些散射物在不同时间、空间和频率条件下的统计行为。

3. 适用于未来6G通信系统 ：通过仿真验证，模型在低空交通通信系统中表现出较高的准确性和可靠性，表明其具有很好的应用潜力。特别是在6G低空交通通信系统中，提出的模型能够提供稳定、精确的信道特性估计，满足未来通信需求。

4. 数据集和场景适应性 ：利用MUMV-CSCI数据集，实验展示了在不同时延扩展（TTD）和空时延扩展（ATD）条件下，模型在多种场景中的适应能力。该数据集在不同的无线通信环境下表现出较好的泛化能力。

7. 总结 & 未来工作

本文提出了一种新型的多模态智能信道模型，用于6G多无人机与多车辆通信。该模型融合了时延扩展（TTD）和空时延扩展（ATD），能够捕捉信道的非平稳性及其在时间、空间和频域上的一致性。构建了一个新的MUMV-CSCI数据集，包含信道信息和激光雷达点云数据，用以在不同的TTD和ATD条件下对所提模型进行参数化。所提模型精确地刻画了静态散射物、地面动态散射物和空中动态散射物，并利用统计分布来描述其特性。仿真结果与基于RT的数据验证一致，表明该模型能够捕捉关键的信道统计特性，且适用于未来6G低空交通通信系统。

本文仅做学术分享，如有侵权，请联系删文。

3D视觉交流群，成立啦！

目前我们已经建立了3D视觉方向多个社群，包括 2D计算机视觉 、 最前沿 、 工业3D视觉 、 SLAM 、 自动驾驶 、 三维重建 、 无人机 等方向，细分群包括：

工业3D视觉 ：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

SLAM ：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

自动驾驶 ：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。

三维重建 ：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

无人机 ：四旋翼建模、无人机飞控等

2D计算机视觉 ：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等

最前沿 ：具身智能、大模型、Mamba、扩散模型、图像/视频生成等

除了这些，还有 求职 、 硬件选型 、 视觉产品落地、产品、行业新闻 等交流群

添加小助理: cv3d001，备注： 研究方向+学校/公司+昵称 （如 3D点云+清华+小草莓 ）, 拉你入群。

3D视觉工坊知识星球