引言：
外科医生Dr. Lee在一次美敦力的学术讨论上说到，“外科医生和精英运动员非常相似，都在团队环境中工作，不断的重复训练已达到顶尖的成绩。但运动员往往花费更多的时间在影像室，回顾和研究过去的表现。而医生目前还没有得到足够、及时的信息反馈，以学习和提升手术技能。”
因此，本篇报告旨在回答的问题是：
1. 微创外科手术中有哪些数据？
2. AI技术对数据处理的难点和现状如何？
3. 目前有哪些商业化案例？产品的主要功能有哪些？
4. 未来AI技术在微创外科手术的发展趋势。
1.1 未被有效利用的非结构化手术数据
医院每年产生50PB的数据
。这些海量信息包括临床记录、实验室测试、医学图像、传感器读数、基因组学以及运营和财务数据。目前，
97%的数据未被使用
，这些数据大部分是非结构化的，但如果通过有效的处理，具有改变医疗质量的巨大潜力。
对一名医疗从业者来说，从医学生成长为一名成熟的外科医生，需要专业的医学教育、大量的手术模拟练习、手术实操经验、持续的学术学习、自我评估反馈和良好的团队合作等等。其中的各个环节，都离不开相关的专业数据支持。
微创外科手术为例，术前、术中、术后数据涵盖了从患者基本信息、影像学、实验室分析，到术中实时监测、手术参数记录，以及术后恢复和随访的各个方面。
手术前后的数据使用是确保手术成功、患者安全以及良好术后恢复的关键。
通过全面的术前评估、实时的术中监控以及详细的术后跟踪，医生能够更好地管理手术过程和患者的康复。这些数据不仅有助于提高手术的精确性，还能在术后提供有效的反馈和改进措施。
AI赋能医疗，早已不是新鲜的话题，基于影像学数据的各类功能软件层出不穷。据沙利文统计，截至2024年6月，中国已有92款人工智能医学影像辅助诊断软件获批NMPA三类医疗器械证。涵盖心血管疾病（27款）、肺部疾病（24款）、脑血管疾病（13款）、骨科检查（10款）、眼底疾病（9款）、乳腺疾病（2款）等。这些产品涵盖多疾病领域、多种设备类型，可实现图像质量改善、病灶识别与重构、疾病分期与分级、疾病进展预测等功能。
以上这些主要是基于CT、MRI、超声等数据进行的筛查和辅助诊断，在一定程度上解决了医生双眼的局限性，但数据场景相对单一（相比于外科内窥镜影像）。
在外科手术中，手术视频影像为代表的术中数据资源，在过去受限于技术算法、空间存储、格式差异、安全隐私性、便捷性、回顾效率等问题，仍然缺乏有效的分析利用。
近些年来，美敦力、强生、直觉外科、其他国内外创新企业与医生一起，结合现有硬件和数据资源，逐渐开始丰富数字化外科场景应用。
2.1 数据处理难点
(1) 数据的特异性和多样性：
数字化外科产品依赖大量高质量的手术数据进行训练和优化。然而，手术场景通常复杂多变，涉及多种器械、组织和操作，手术视频和数据的获取往往不易，不同医院和医生之间的数据格式、质量和术式操作方式也各不相同，导致数据标准化和一致性难以保证。缺乏标准化的数据可能会限制模型的泛化能力，导致产品在不同场景下表现不一致。
(2) 数据的准确标注：
外科数据通常涉及复杂的解剖结构和手术操作，准确标注这些数据需要具备专业的医学知识。标注者不仅需要了解解剖学，还需要理解手术过程和器械使用。这意味着
标注工作往往只能由经验丰富的外科医生或专业的医学人员来完成
，从而使得标注成本高、难度大。
(3) 实时处理与响应：
在外科手术中，AI 系统需要实时分析手术视频和数据，并给出建议或警示。这要求系统具有
极高的计算速度和低延迟
，但实时处理复杂的手术场景和数据非常困难。在精力高度集中的主刀医生眼中，延迟或处理不及时都会极大的降低产品的可用性，因为它可能会影响手术的顺利进行，甚至对患者安全构成威胁。
(4) 数据隐私与安全：
手术视频和数据涉及患者隐私，如何在确保
数据安全和合规
的前提下进行存储、传输和处理，是数字化外科产品必须解决的问题。在美国和欧洲，个人健康信息等隐私数据受到法律的严格保护，例如HIPAA、HITECH和GDPR，目前，海外各类平台通过获得HITRUST CSF® 等认证形式满足相应法规要求。
(5) 与现有系统的集成度：
通过与医院现有的电子病历系统（EMR）、手术室设备和其他数字化工具集成，数字化外科产品可以赋能术前诊断、术中辅助和术后回顾，打造多功能化的业务形态。但不同医院和国家的系统各异，标准化接口和集成工作有一定难度和挑战。
2.2 AI技术
模型
数字化外科涉及多种算法和技术，以下简单略举了常用的模型类型和技术，用于不同的目标场景。由于数据的多样性，常常会采用多模态方式提供更全面的数据分析和建议。
AI相关的学术论文、竞赛也是医学和计算机领域的热点。例如，MICCAI每年都会举办多个与医学图像分析和外科手术相关的挑战赛，例如腔镜手术器械识别追踪(SurgToolLoc)、头颈肿瘤选区描边(SegRap)、低剂量CT图像质量评估(LDCTIQAC)、腔镜视觉(EndoVis)挑战赛等。
▲图5 香港中文大学刘云辉教授团队MICCA发表文章
香港中文大学刘教授团队在论文中绍了一个新的数据集AutoLaparo，专为图像引
导的手术自动化系统设计，适用于腹腔镜子宫切除术的视频图像分割。
北京协和医院吴院长团队针对机器人手术场景特点，基于半监督学习、自监督学习、目标检测、目标追踪等算法策略，优化出了一个机器学习与图像处理的高效学习模型，
识别并追踪术中器械。
▲图6
北京协和医院团队（吴文铭，花苏榕，平陆等）获得2023 MICCAI SurgToolLoc世界冠军
▲图3
The applications of AI in surgery and the data sources. Applications are divided into preoperative, intraoperative and postoperative stages
对于术前、术中、术后的各个场景，人工智能均具有极大的应用潜力。
术前：
采用深度学习技术能够提高术前MRI、OCT视网膜病变的检出率。
利用机器学习
可以提高风险工具的预测能力，用于例如
急诊剖腹手术患者急诊手术风险
。
术中：
使用语义分割的深度学习模型，可以在腹腔镜胆囊切除术中识别安全和危险区域。
采用卷积神经网络，基于原始运动学或视频数据，可以自动对缝合和打结等基本技术手术任务进行客观技能评估。
术后：
基于患者数据的随机森林模型用于预测术后第二天是否需要医院干预，减少不必要住院时间。利用ML、语音识别和语音模拟技术，针对术后骨科患者进行自动人工智能辅助随访，提高随访效率。
以
ChatGPT
为代表的大语言模型，有可能成
为
医学教育
的重要工具
，用于评估评分、教学支持、学生表现预测、实时反馈和内容生成等。
手术视频作为影像数据，包含外科手术巨大的信息量，它记录了病人的术中情况、手术过程，与手术结果息息相关。良好的应用手术视频，可以为医生在手术的全流程进行赋能，具有巨大的开发价值和临床意义，具体公司和产品将在下文中详细介绍。
3.1 Theator
Theator创立于2018年，总部位于美国帕洛阿尔托和以色列特拉维夫-雅法，是一家致力于打造结合人工智能和计算机视觉的外科智能平台的医疗科技公司。
Theator的首款产品Minutes于2019年4月推出，是一款视频流分析工具，旨在通过人工智能（AI）技术帮助外科医生提升手术质量和效率。
3.1.1 主要功能
(1) 视频管理
系统自动记录各类腹腔镜和机器人视频。通过安全的云存储，快速上传从而在术后进行回放，手机端、iPad端和电脑端均可查看。
实时自动识别手术阶段
，工具使用、患者状态等。提供实时图表和仪表盘，以便手术团队能够快速获取关键数据，如手术时间、出血量等。通过实时更新，手术团队能够立即获得反馈，帮助调整手术策略和技术。此外，允许远程专家或顾问通过安全的网络连接实时监控手术过程，提供支持或建议。
Theator能够自动检测手术过程中的关键事件和操作，例如粘连松解、特定组织的解剖与分离、血管解剖、缝合等，
并将手术过程划分为不同阶段
。每个阶段的细节包括术中事件、安全信息、操作时间、所用工具、患者反应等信息都会被记录下来。
Theator支持纵向数据分析，比较不同时间段、医生、团队或手术类型之间的表现差异，识别改进机会。产品还提供关于手术时间、失血量、并发症率等关键指标的统计分析，帮助医院和医生评估手术效果。
在官方介绍的功能中，“Standardize Safety across Department”功能对新手外科医生
规范化手术操作
很有帮助，可以使不同医生在必要的手术安全性操作方面采用一致的标准和流程。以普外科的常见手术阑尾切除术为例，“阑尾的尖端被分离开、阑尾被抬起并向下移位、末端回肠位于前景、自由带清晰可见”等操作被识别并分析。
在Theator的领英和官网中，可以看到许多有趣的数据分析结果，例如，1）相比于手术机器人子宫切除术，普通腹腔镜快28%（31分钟）。2）尽管双层阴道断端缝合技术可以减少并发症，仅有15%的子宫切除术使用了这一技术。3）在右半结肠切除术中，体内吻合可以改善手术结果，但体内吻合的情况比想象中要少。有了AI的加持，这些术中的信息能够快速、高效的被量化统计和分析。
3.1.2 产品小结
Theator是海外最早探索外科视频分析的智能平台，在AI视频分析功能上比其他团队更加领先，但未来商业化需要考虑如何与腔镜设备、机器人厂商形成更深入的协同合作。
3.2 Touch Surgery（美敦力收购）
Digital Surgery Limited是一家英国伦敦的外科手术人工智能数据分析及培训服务商，由两位前外科手术医生于2013年创立。2020年2月，美敦力完成对Digital Surgery Limited的收购。
▲图11 Digital Surgery融资历程
公司主要运营产品服务包括Touch Surgery™网站、app以及Touch Surgery™ Enterprise企业平台。其中，Touch Surgery是一款经过学术验证和认证，用于外科手术准备、练习和教学的移动培训App。Touch Surgery™ Enterprise是用于帮助医生上传、存储和管理外科医疗视频的平台，方便进行手术案例的术后回顾、数据分析、反思练习、培训分享等。
3.2.1 主要功能
(1) Touch Surgery™ Simulations：模拟教学
Touch Surgery™ APP提供
17种类型，200多种手术的模拟教学
，涵盖外科、内科、急诊、麻醉等等。3D交互式逼真模拟操作，在动画演示前，每一项操作有相应的文字讲解，例如基础知识、操作步骤要点、关键解剖位置、使用器械、适应证和禁忌证、麻醉方式、术后护理和可能的并发症。在测试模式下可以学习和巩固操作步骤，出错步骤会有提示和讲解。此外，通过使用Hololens等头戴式设备，用户可以在虚拟手术室环境中进行术式学习。
▲图12
Touch Surgery™ Simulations功能
(2) Touch Surgery™ Connectivity：手术视频管理
Touch Surgery™ Enterprise是一个基于人工智能的手术视频管理分析平台，配置实时AI智能手术录像机DS1，具有自动匿名化功能，可安全、轻松地访问手术视频，并提供术后分析。
▲图13
Touch Surgery™ Connectivity功能
设备与大多数腹腔镜或外科机器人系统兼容，在手术完成后自动上传手术视频，无需USB驱动器、DVD或加密驱动器。通过内置实时 RedactOR™ 技术，在视频保存到云端之前对腔镜外的视频部分进行模糊处理，保护患者和用户的隐私。手术结束后，用户可以在手机app上查看手术视频，随时访问、查看视频并添加注释，并可以和同事共享。
（3）Touch Surgery™ Performance Insights：智能评估及识别
▲图14
智能评估及识别功能
主要包括三大功能。1）视频分割：通过AI算法将视频自动分割成关键程序步骤，并进行标记。2）分析评估：在网页端和手机端app上，可以将本次手术与历史同类手术的指标进行对比分析，分析改进手术技巧。3）其他正在更新的AI算法：视频分析、器械跟踪、视野分区、组织识别等。
2024年2月，美敦力的一次学术会议中分享了产品未来预计拓展的AI算法功能。不久后的4月份便宣布在Touch Surgery™ Performance Insights平台上引入了 14 种新的 AI 驱动算法，涵盖手术工作流程、器械设备和解剖检测。
据介绍，AI技术覆盖多种腹腔镜和手术机器人术式，例如腹腔镜胆囊切除术、腹腔镜阑尾切除术、腹腔镜TAPP腹股沟疝修补术、机器人TAPP腹股沟疝修补术、腹腔镜袖状胃切除术、腹腔镜Roux-en-Y胃旁路手术、腹腔镜右半结肠切除术、机器人辅助全子宫切除术、机器人辅助根治性前列腺切除术、机器人辅助肾部分切除术等。不过，目前尚未实际看到这项功能在国内实际使用情况，尚不清楚AI算法的实时识别效果。
（4）Touch Surgery™ Live Stream：手术直播功能
▲图15 手术直播功能
Touch Surgery加入直播功能Touch Surgery™ Live Stream，为20多个国家的手术室提供远程实时观察方案，实现安全的手术直播，创造虚拟学习环境。
3.2.2 产品小结
Touch Surgery基于美敦力的外科平台，在品牌影响力的加持下可以获得大量视频来源，并且便捷地帮助医生进行视频管理。模拟教学的功能也可以使得大量新手医生可以有效地学习使用，相比其他产品功能更丰富。但目前来看，AI识别还处于早期阶段，为医生提供的智能分析相对有限。
3.3 Intuitive Hub
Intuitive Hub是直觉外科公司的视觉媒体平台，用于辅助达芬奇手术机器人，允许外科医生录制手术过程并存储媒体用于协作和学习。Hub可以录制、标记并安全存储视频，方便高效访问、编辑和分享。通过Hub，术者可以实时直播手术，利用远程技术进行实时案例观察和指导。
在达芬奇手术机器人系统中，通过 Intuitive Hub、SimNow（手术模拟器）和My Intuitive（用户数据访问软件）的相互协作，共同打造数字化解决方案。
3.3.1主要功能
Intuitive Hub能够自动录制整个手术过程，无需手动干预，支持高清录像。手术结束后，外科医生可以在手术后立即回顾录制的视频，用于新手医生学习培训、个人的改进提升、同行的交流评审以及患者沟通（帮助患者理解手术步骤和相关风险、讨论手术结果和术后护理）。用户可以对重要片段进行书签标记并添加注释，方便突出关键时刻和讨论。
此外，Intuitive Hub 确保所有分享内容符合 HIPAA 规定，维护患者隐私和数据安全。外科医生可以安全地与同事和医疗团队分享视频。
外科医生和医疗专业人员可以远程访问和协作处理手术视频，增强多学科团队的沟通与协作，使得不同地点的专家能够提供意见和指导。
Intuitive Hub设计
与达芬奇手术系统无缝集成
，确保视频录制和数据捕捉与机器人平台的操作同步进行。结合数据分析，帮助术者技能提升、为医院管理人员提供管理支持。例如下图，术者可以利用机械臂使用、器械使用、手术时间等指标与同行对比，分析个人手术水平、是否有其他器械方案等。对于医院管理人员，通过系统整体使用情况和库存信息，管理跟进产品使用近况。
3.3.2 产品小结
在最新发布的Da Vinci 5中集成了气腹机和电外科设备，相应的气腹数据、能量数据等也被采集和利用。此外，Da Vinci 5还引入了力传感技术，部分可选器械能让系统测量手术过程中施加在人体组织上的微小力，并让外科医生了解到实际力度。未来，力反馈信息也会被应用分析。
此外，
直觉外科还通过投资方式建立数字生态，打造数据护城河。例如，战略性投资KelaHealth (围手术期临床决策支持)，Flywheel (研究数据管理)，MedCrypt (数据安全服务)等等。
通过将术前SimNow训练数据、术中各组件的记录数据、和术后的评估数据等进行整合，系统拥有丰富的数据资源，用于支持新产品的持续迭代开发，这是外科集成的魅力，也是未来手术机器人的发展方向。
▲图17 达芬奇数字化布局，
参考海康慧影发布会分享
3.4 C-SATS（强生
收购）
C-SATS公司2014年成立，来源于华盛顿大学，C-SATS™ 产品通过手术视频数据，帮助外科医生评估技术技能并提升手术水平，改善患者治疗效果。
公司创始团队包括CEO Derek Streat, Dr. Thomas Lendvay, Dr. Timothy Kowalewski, Dr. Lee White, Bryan Comstock等。2018年被强生(J&J)收购时，员工数量20人左右，所有员工在收购后继续留任。
3.4.1 主要功能
C-SATS平台能够记录手术过程中的视频，并将其安全上传至云端进行管理。所有手术视频数据都受到隐私法（如HIPAA）的保护，以便于外科医生可以安全的进行数据存储、分析评分和分享讨论。此外，C-SATS提供了一个庞大的手术视频库，外科医生可以访问和学习不同类型的手术视频。
视频分割：C-SATS使用AI自动将手术视频分割成关键的手术步骤，识别并标记手术中的重要事件，如器械使用、解剖标志和手术里程碑。
评估技术指标：手术动作的精确性、速度和一致性等指标评估用于外科医生的表现。此外，将医生的表现与同行的数据库进行比较，帮助识别改进。
平台利用资深外科专家对手术视频进行分析，提供个性化的、具有建设性的反馈。
这些反馈有助于医生识别操作中的不足，并改善技术。在官方网站中，C-SATS列出了120名专家评审员成员，科室上覆盖普外、妇科、泌尿、胸外、耳鼻喉等各类外科科室，以美国医生为主，也涵盖了少量其他国家专家，他们通过观看术者视频对其进行评价及远程指导。
除了专家分析，C-SATS还鼓励外科医生之间的同行评审。外科医生可以匿名分享他们的手术案例，接受来自全球同行的建设性评论和建议。这种方式有助于促进开放式的学习和技能交流。
(4) 社区交流
讨论论坛：C-SATS平台设有讨论论坛，外科医生可以在这里提出问题、分享经验和讨论手术技巧。这个互动空间促进了社区成员之间的知识交换，帮助外科医生拓展视野和获取新的见解。
案例分享与学习：平台支持外科医生分享具有挑战性的手术案例，社区成员可以通过讨论这些案例来学习和交流，从中吸取经验教训。
目前C-SATS™ 产品设置了免费版和付费企业版，免费版仅提供手术视频库和社区交流功能，其他AI相关及专家评价等需要付费。
3.4.2 产品
小结
C-SATS可以为医生建立了一个良好的自我提升、学习交流环境，不可否认的是，专家的建议对于医生技术的提升是非常重要的。但由于不同国家、不同专家在术式选择、操作技巧等方面存在差异，若进行全球性推广，例如美国专家的反馈和评分是否对中国的年轻医生真正有所帮助，是存在疑虑的。此外的现实问题是，如果要在国内大范围推广，中国的专家是否有时间&动力去给年轻医生评分？年轻医生在平台中的付费由谁来承担（个人/医院）等等。
3.5 Polyphonic
Polyphonic是2024年6月20日强生最新发布的数字平台，由强生的MedTech部门开发，是一个综合的数字生态系统，能够整合各种手术数据源。目前产品正在一些医院进行测试，计划在2025年进行更广泛的发布。
3.5.1 主要功能
(1) 手术视频管理
Polyphonic允许外科医生从手术中创建、编辑和分享视频片段。支持外科医生之间的协作，在安全的环境中，允许医生间对手术技术或并发症进行标注、标记和讨论。
(2) 远程交流和病理管理
