实例分割是计算机视觉中的一项重要任务，它不仅需要识别图像中的物体类别，更需精确地分割出每个物体实例的像素区域。这种技术能够在复杂场景中提供更丰富和详细的信息，因此被广泛应用于遥感图像识别、医疗影像分析、自动驾驶以及智能安防等多个领域。随着百度飞桨发布的SOTA目标检测模型RT-DETR的问世，RT-DETR凭借其卓越的推理速度和检测精度，迅速成为目标检测开发者的首选模型。由于实例分割算法和目标检测算法有诸多相似之处，因此，基于RT-DETR来适配实例分割任务的Mask-RT-DETR，将可能成为实例分割界的新秀。
从下图可以看到， Mask-RT-DETR 相对于其他实例分割模型在精度和速度的均衡上均具有明显的优势。
实例分割模型精度-速度对比图
Mask-RT-DETR 在总体结构上与 RT-DETR 基本一致，但在实现细节上进行了一些改进。首先，Mask-RT-DETR 系列模型统一采用了提取特征能力更好的 PP-HGNetV2 作为骨干网络，并引出四个特征图，以用于检测和分割任务。在 Encoder 部分，Mask-RT-DETR基于HybridEncoder 引入了 MaskFeatFPN 模块，构建了 MaskHybridEncoder 编码器，从而实现了掩码分支的多尺度特征融合。另外，Mask-RT-DETR 对掩码分支也引入了 IoU-aware Query Selection 技术，以筛选出高质量的掩码特征作为编码器的输入。最后，在 Head 部分，Mask-RT-DETR 增加了分割头 MaskDINOHead，用于生成高质量的掩码输出。通过这些改进，Mask-RT-DETR 在实例分割任务中在相同推理耗时上取得了SOTA精度。
Mask-RT-DETR 沿用 RT-DETR 模型中的高效混合编码器 HybridEncoder，并在此基础上基础上增加用于掩码特征融合的 MaskFeatFPN 模块，如下图所示，其包含三部分：Attention-based Intra-scale Feature Interaction (AIFI) ，CNN-based Cross-scale Feature-fusion Module (CCFM)和 MaskFeatFPN。MaskFeatFPN 将 S2 特征层与 CCFF 输出的经过编码之后的多尺度特征层作为输入，经过自上而下的特征金字塔，实现掩码层面的多尺度融合。
RT-DETR 引入了 IoU-aware Query Selection，通过在训练过程中约束检测器，使其对高 IoU 的特征生成高分类分数，而对低 IoU 的特征生成低分类分数。这样一来，模型在选择 top-K 特征时，不仅考虑分类分数，还确保这些特征的预测框具有高 IoU 分数。如下图所示，IoU-aware Query Selection（蓝色点）显著提高了被选中特征的质量，使其集中分布在右上角。同样地，Mask-RT-DETR 对分类分数和 IoU 分数进行了约束，利用去噪后的特征来筛选高质量的 mask。由于高 IoU 和高分类分数通常对应高质量的 mask，这些经过筛选的特征在输入解码器后，与直接随机初始化掩码特征相比，可以显著提升模型的性能。
Mask-RT-DETR 在 DINOHead 的基础上增加了一个 mask 分支，使模型在预测掩码后能够与标签进行损失函数的计算。
终我们得到的 Mask-RT-DETR 模型整体结构如下所示：
下图展示了 Mask-RT-DETR 不同版本模型的 benchmark 指标，其中 Mask-RT-DETR-H 模型的 mask mAP 达到 48.8%，在相同推理速度指标下达到SOTA精度。以下精度精度指标为
COCO2017
验证集 mask mAP(0.5:0.95)，GPU 推理耗时基于 NVIDIA V100 机器，精度类型为 FP32。
Mask-RT-DETR benchmark指标
星河零代码产线是PaddleX在AI Studio星河社区的云端形式，可以不使用一行代码，完成确定任务、选择模型、上传数据、模型训练、模型评估、模型部署的模型开发全流程。
不同的模块均以可视化的交互页面展示给开发者，部分可视化效果如下图
右滑查看更多图片
如何低成本开发和优化单模型一直是业界关注的问题，PaddleX 为了解决这个问题，在模型的开发流程上做了升级，开发者无需深入底层原理，仅需要统一的命令，加载不同的配置，即可完成不同任务的数据校验、训练、评估、推理。在此基础上，PaddleX 暴露了关键超参数，支持开发者快速修改调参优化模型。
python main.py -c paddlex/configs/instance_segmentation/Mask-RT-DETR-L.yaml -o Global.mode=dataset_check -o Global.device=cpupython main.py -c paddlex/configs/instance_segmentation/Mask-RT-DETR-L.yaml -o Global.mode=train -o Global.device=gpu:0,1,2,3python main.py -c paddlex/configs/instance_segmentation/Mask-RT-DETR-L.yaml -o Global.mode=evaluate -o Global.device=gpu:0python main.py -c paddlex/configs/instance_segmentation/Mask-RT-DETR-L.yaml -o Global.mode=predict -o Global.device=gpu:0
训练好的模型如何快速方便地接入已有系统，PaddleX提供了极简的Python API，仅需三行代码，即可完成模型的集成。
from paddlex import create_modelmodel = create_model(model_name="Mask-RT-DETR-L", model_dir="your_model_dir")result = model.predict({'input_path': "xxx.jpg"})
PaddleX不仅支持通过极简的Python API来集成模型，使开发者能够以简洁高效的方式进行模型的调用，还提供了多种高性能部署和服务化部署的解决方案。高性能部署方式通过优化推理的前后处理和硬件加速技术，显著提升了模型预测的速度，满足高并发、低延迟的实时应用需求，为用户带来更流畅的使用体验。而服务化部署则将模型封装为独立的服务，使其可以通过HTTP等协议进行调用，简化了模型的集成和管理。通过服务化部署，企业可以轻松实现模型的多节点分布式部署，增强系统的扩展性和可靠性，同时也方便了模型的版本管理和更新，确保持续的业务创新和稳定运行。
为了帮助您迅速且深入地了解PaddleX实例分割产线，并熟练掌握全流程操作技巧，百度研发工程师将于
9月19日（周四）20：00
为大家深度解析自研SOTA实例分割模型的模型结构以及在精度、速度方面的卓越优势，带您了解从数据准备、数据校验、模型训练、性能调优到模型部署的完整开发流程。赶快扫描下方海报二维码预约报名！
AI企业年度盛典！星河产业应用创新奖-飞桨产业实践方向启动申报
面向工业制造、物流航运、医疗健康、生物医药等新质生产力重点领域，征集依托飞桨低代码开发工具PaddleX、飞桨多模态大模型开发套件PaddleMIX、飞桨产业级大语言模型套件PaddleNLP等解决产业问题的前沿方案和具备商业价值的生态 AI 产品
荣登官方发布《星河产业应用创新奖》2024 Top100 权威榜单的项目，可享受区域产业政策扶持、AI技能进阶培训、个人影响力打造、深度创业辅导等全方位的陪伴式生态服务
评分最高的项目团队，提供价值百万的“项目及基金扶持+特色权益+云端资源”，其中特色权益包括不限于PaddleX特色模型产线永久权益、Token产品优惠、1V1领域知名专家/投资人咨询、行业联盟绿色通道、百万项目商机、千亿流量扶持等
