这么近，那么美，周末来河北，
点击👆蓝字或👇名片，关注"AI与医学"
AI图像生成仍然是热点，去年301娄老师在顶刊发表了普通CT生成增强CT的研究，引起了广泛的关注。本次分享一个图片生成X光片的研究。
大壮擅长这一块的技术方案设计和实现，欢迎交流学习。
一、目的
本研究旨在开发并验证一种基于深度学习的筛查系统，该系统能够利用智能手机或相机拍摄的图像生成虚拟X射线图（VXI），以协助脊柱外科医生快速、准确且无创地评估青少年特发性脊柱侧弯（AIS）的类型和严重程度。
二、方法
1、数据收集
从四家医疗机构收集了2397名AIS患者和48名潜在AIS患者的站立全脊柱X射线图像和背影像。
这些数据包括放射技师拍摄的站立全脊柱X射线图像和脊柱外科医生用相机拍摄的图像。
参与者纳入流程。
2、模型开发
基于条件生成对抗网络（cGAN）开发了一种名为Swin-pix2pix的深度学习模型，用于生成虚拟X射线图像（VXI）。
（1）收集数据
注意了哈，数据要是配对的，就是一张照片对应一个X光片呦。
（2）数据预处理
这用了yolo训练两个分割模型，把主要躯干分割出来，减少其他冗余的信息，下一步也更好处理一些。
（3）图像生成
从结构上看典型pix2pix，对抗生成网络结构，也叫GAN,结构上又生成器和判别器。
swin-pix2pix模型中生成器的网络架构。创新性地，本研究将原始pix2pix生成器的UNet-256结构中的下采样卷积层替换为
Swin Transformer模块
。这些Swin模块利用自注意力机制捕捉长距离依赖关系，从而增强生成器的全局感受野。这使得模型能够从输入的2D-RGB图像中学习更丰富的特征信息，从而提高生成详细的准确虚拟X射线图像的能力。
Swin-pix2pix模型生成器的网络架构图。
该模型在回顾性训练（n=1842）和验证（n=100）数据集上进行训练，并在回顾性内部（n=100）、外部（n=135）和前瞻性测试数据集（n=268）上验证了VXI在量化AIS曲线类型和严重程度方面的性能。
3、数据预处理
为了提高输入图像（背影像和X射线图像）的信噪比、计算效率、可解释性和准确性，建立了一个自动化的数据预处理工作流程。
具体步骤包括：
（1）收集背影像：确保图像质量，减少环境因素对成像的影响。
（2）
X射线图像中的目标检测：使用YOLOv8模型
提取脊柱区域的边界框坐标。
（3）
背影像的实例分割：使用增强的Swin-YOLOv8模型对背影像进行分割。
（4）
图像调整和拼接：将处理后的背影像和X射线图像调整到统一尺寸并拼接。
