选自Facebook Research，机器之心编译。
今天，Facebook AI 研究院（FAIR）开源了 DensePose ，这是一个能将人体所有像素的 2D RGB 图像实时映射到 3D 人体模型的应用。这一模型利用 COCO 数据集中 50K 张密集型人体对应关系的标注，并在有遮挡和尺度变换等自然情况下能准确实现密集型人体姿态估计。
项目地址： densepose.org/
近期在人类理解上的研究聚焦于对稀疏的关节集合进行定位，例如手腕、手肘等。这也许对于手势或动作识别的应用是足够的，但它输出的其实是缩减的图像解释，我们希望更进一步解释人体姿态的更多信息。想象一下通过照片来试穿新衣服，或给你照片中的朋友穿上衣服等。对于这些任务，我们需要更复杂的基于表面的图像解释。
DensePose 项目解决了这个问题，并旨在以基于表面的模型来理解图像中的人物。我们的研究表明用 DensePose 可以高效地计算人体的 2D RGB 图像和 3D 表面模型之间的密集对应关系。和通常对 10 个或 20 个关节（手腕、手肘等）进行人体姿态估计的研究不同，该研究考虑的是整个人体，定义了超过 5000 个节点。最终获得的系统速度和准确率加速了和增强现实以及虚拟现实与计算机视觉之间的连接。
早期在这个问题上的研究需要分钟级的计算时间来通过外部系统初始化（例如在人体关节定位中），而且很脆弱。DensePose 可以在单块 GPU 上每秒处理多帧图像，并能同时对几十甚至几百人进行计算。
在这项研究中，我们引入了 DensePose-COCO，这是一个大规模对 COCO 数据集的 5 万个人图像到表面对应关系进行手工标注的真值数据集。其真值是以图像到表面的形式在随机采样的人体位置上标注得到，还包括分割的人体部分。我们是按照 COCO 挑战赛的训练/验证/测试集的划分方式进行划分的。
我们还为该任务开发了新的深度网络架构。我们将架构建立在 FAIR 的 Detectron 系统上，并将其整合了密集姿态估计的功能。正如在 Detectron 的 Mask-RCNN 系统中，我们使用的也是兴趣区域（RoI）池化然后是全卷积处理。我们用三个输出通道来增强网络，通过训练来输出对人体部分和和 UV 坐标的像素分配。最终得到的架构达到了和 Mask-RCNN 一样的有效速度，这多亏了 Caffe2 框架。
