【大模型周报第85期】全球首个面向糖尿病诊疗的视觉-大语言模型的多模态集成智能系统DeepDR-LLM发布

资讯总览

【人工智能治理与监管政策】关键词：多模态大模型、AI合作

Meta即将发布一个多模态的Llama 模型，但由于监管环境的不确定性， Meta不会在欧盟发布多模态大模型 ，Meta将向欧盟的客户和公司提供仅支持文本的Llama 3模型。

谷歌和三星因AI合作而遭反垄断调查 。谷歌应用程序套件都与Gemini相连，欧盟现在正在调查这种合作关系产生的AI服务是否违反了反垄断法。

【前沿技术进展】关键词： 医疗大模型、双频5G-A确定性网络

上海市第六人民医院合作研制全球首个面向糖尿病诊疗的视觉-大语言模型的 多模态集成智能系统DeepDR-LLM ，实现了医学影像诊断与诊疗意见的多模态生成功能，提供糖尿病视网膜病变辅助诊断结果及个性化糖尿病综合管理意见。

中国移动研究院 联合江苏移动、立讯精密以及华为公司，在立讯精密工业生产核心环节完成业界首例端到端“双频5G-A确定性网络”试点。

清华大学提出 面向时间序列的大模型Timer（Time Series Transformer） ，采用仅编码器（Decoder-only）结构，基于多领域时间序列进行大规模预训练，适配不同输入输出长度的时间序列。

【产品应用创新】关键词： AI诊断、AI预测、AI医疗机器人

浙江大学医学院附属第二医院 在2024华夏健康数据与数字医学论坛上发布AI大模型Medcopilot，该模型通过裸眼3D模型唤醒、检验指标自动形成趋势图、病历书写提醒等功能，赋能医生开展精准快速决策。

英国剑桥大学的科学家 开发出一种人工智能工具，能够以超过80%的准确率预测早期痴呆症患者病情发展为阿尔茨海默病的可能性，预测准确率是当前标准护理或临床诊断的三倍左右。

成都市人工智能医疗机器人领域技术创新对接会 ，多种能手术、会艾灸的医疗机器人齐亮相，如华西医疗机器人研究院全球首创的医疗冷凝固化无支撑架高速智能3D打印技术，可代替传统骨折后的石膏固定。

【产业市场竞合】关键词：安全人工智能联盟、半导体

谷歌、微软、OpenAI、亚马逊、英伟达、英特尔等14家AI领域的大公司宣布 联合组建安全人工智能联盟 ，工作范围包括安全地构建、集成、部署和运行人工智能系统，重点是降低模型规模滥用和推理攻击等风险。

讯飞医疗获得中国证监会IPO备案 ，讯飞医疗成立于2016年5月，是A股上市企业科大讯飞子公司,产品体系覆盖从基层到三甲医院的医疗健康全应用场景。

趋势洞察

1. 适应监管环境将成为大模型应用推广需要考虑的重要因素，大模型合规成本或将加重

大模型的应用推广需要及时了解和遵守应用区域的监管政策，企业需要密切关注监管政策的变化，及时调整技术研发和产品发布策略，以确保符合相关的法律法规。大模型开发者需要深入了解相关法律法规，建立健全的数据管理和安全机制，加强对模型应用推广的评估和验证，确保其合规性和安全性，积极配合监管工作。不同的开发者、企业和组织采用不同的技术架构、算法和数据处理方式，导致了大模型的性能、安全性、可靠性等方面存在差异，从而影响大模型的应用落地。大模型的应用拓展需要跨区域乃至跨国的沟通交流和合作，需要积极参与监管政策的制定和讨论，建立统一的监管标准和规范，促进大模型应用在更广泛的区域顺利落地。如Meta在一份声明中表示即将发布一个多模态的Llama模型，但由于监管环境的不确定性，Meta不会在欧盟发布多模态大模型，Meta将向欧盟的客户和公司提供仅支持文本的Llama 3模型。

2. AI医疗大模型快速发展，推动医疗技术与应用革新

多模态大模型技术的快速发展，将对医疗领域发展产生革命性推动。越来越多的医疗机构开始重视AI在医疗环节的应用，这有助于提高全球的医疗质量和效率。

技术方面，全球首个糖尿病诊疗多模态大模型DeepDR-LLM系统融合大语言模型和深度学习技术优势，实现了医学影像诊断与诊疗意见的多模态生成功能，由LLM模块和DeepDR-Transformer模块组成，创新融合适配器（Adaptor）和低秩自适应（Low-Rank Adaptation）协同优化技术；LLM模块将训练网络层与大语言模型的固有权重参数融合，突破低算力资源约束下的多模态大模型优化的瓶颈；引入Transformer模型架构，精准实现眼底影像质量检测、病变分割和DR分级诊断等功能。

应用场景方面，AI正在迅速渗透医疗行业的各个环节，如影像诊断、药物研发、临床决策支持、健康管理等。在2024华夏健康数据与数字医学论坛上，浙江大学医学院附属第二医院发布AI大模型Medcopilot，该模型通过裸眼3D模型唤醒、检验指标自动形成趋势图、病历书写提醒等，成为临床工作中关键的AI助手。中国工程院院士、北京大学健康医疗大数据国家研究院院长詹启敏表示，借助AI技术，疾病的识别、预测分析和个性化治疗计划的制定变得更为精准高效。

产品实践方面，多种AI医疗机器人快速发展。成都市人工智能医疗机器人领域技术创新对接会展示了能手术、会艾灸等多种医疗机器人，如华西医疗机器人研究院全球首创的医疗冷凝固化无支撑架高速智能3D打印技术，可代替传统骨折后的石膏固定；电子科技大学机器人研究中心研发的外骨骼机器人，已取得国内首批CFDA注册证，打破了国际技术壁垒。

3. 安全人工智能联盟制定AI安全框架规范，海外AI标准制定或将提速

安全人工智能联盟的成立，标志着全球人工智能领域对于安全性问题的高度重视和集体行动。安全AI联盟将制定统一的安全标准和最佳实践，在提升AI安全性、促进知识共享、增强公众信任以及应对全球监管挑战等方面产生深远影响，共同推动全球范围内的AI安全治理，推进AI技术的创新和应用推广，未来AI联盟还将与国际组织、各国政府以及企业展开合作，进一步扩展其影响力和覆盖范围，促进人工智能向更高水平的安全性和可靠性发展。如7月19号，美国谷歌、微软、OpenAI、亚马逊、英伟达、英特尔等14家人工智能领域的公司联合组建安全人工智能联盟（Coalition for Secure AI，CoSAI），建立一个合作生态系统，共享开源方法、标准化框架和工具等，涵盖人工智能系统的安全构建、集成、部署和运行。去年8月，谷歌、微软、OpenAI和Anthropic成立Frontier Model Forum组织，目的是确保安全且负责任地开发AI模型，负责推进AI研究，确定最佳实践，并与政府、政策制定者和学术界展开合作。

每周一场景：政务搜索

1. 场景简介

政务搜索是指政府在官方网站、移动应用等提供搜索服务，通过检索政府数据库中的大量文档、政策文件、法规条文和公共服务信息，向用户提供所查询的数据及内容。政务搜索直观体现了政府服务的效率和水平，但传统的政务搜索仍然存在“搜不到、‌搜不全、‌搜不准”等问题。‌

搜不到：‌ 一些政府网站或移动应用的信息更新不及时，‌或者信息发布不全面，‌导致用户无法通过搜索找到所需的信息。‌

搜不全： 无法全面理解用户需求，‌搜索结果杂乱分散，‌查全率有待提高，‌用户难以从搜索结果中找到所有真正需要的信息。‌

搜不准：‌ 搜索机制单一，‌多数采用关键词精准匹配原则，‌不支持多条件检索功能，不能对时间、分类等进行更精确的搜索，‌‌导致查准率低、搜索结果与用户期望不符。

2. 大模型赋能

大模型通过整合、分析与处理大量政府数据，凭借其语义分析能力和深层次的理解能力，通过资源画像建立知识图谱、构建需求模型、对政务服务事项和应用统一检索，实现最佳匹配，优化移动端搜索服务等功能，提升搜索服务的便捷度和智慧化水平，显著改善用户体验。

知识图谱构建： 大模型可以处理和融合来自不同来源和格式的数据，如文本、图像、视频等，构建多模态知识图谱，整合分散的数据资源，实现跨不同政务平台的统一搜索入口，增强搜索的深度和广度。

快速搜索与自动分类： 能够理解用户的查询意图，通过对话形式引导用户进行更精确的搜索，对搜索结果进行智能过滤与自动分类，自动生成搜索结果的摘要，帮助用户快速把握信息要点，提供更为精准的搜索结果。

智能推荐与优化： 根据用户的搜索历史和偏好，提供个性化的搜索与交互式搜索，结合反馈和搜索行为数据，持续优化搜索算法，提高搜索质量。

3. 产品&解决方案

中国搜索“政务搜索服务平台”： 该政务搜索产品对政府网站内文字、图像、音频、视频等数据进行高效安全的站内搜索服务，具有懂政务、快接入、全功能、助推广、个性化等优势，支持基础搜索、搜索直达、高级搜索、运营管理、内容过滤、敏感词过滤、黑名单管理、系统监控、日志统计分析、权限管理等一体化全业务功能。

万达信息的“政搜”： 该政务搜索产品接入山东全省多个厅、委办局，地市、区县和街道、乡镇等实施主体，接入事项总数庞大。在上亿级的海量数据中，搜索响应速度达到毫秒级，真正实现山东省政府“一网通办”的总入口。用户只需进行简单输入，便能搜遍齐鲁大地。

中国联通元景政务大模型： 全面赋能政务的搜索、查询、受理、分转、办理、反馈等各个环节，能够抽取工单内容、总结热门问题并形成热点问答，实现从被动受理到主动服务的转变，已在辽宁省12345平台3个分中心15个地市分平台落地应用。

4. 应用实例：黑龙江数字政府建设标杆建设项目

中国移动的九天·海算政务大模型已在黑龙江省数字政府建设的多个场景落地应用，由中移集成牵头，中移苏研承接20个模块平台建设，中移研究院负责政务区块链跟人工智能平台相关支持，与合作伙伴共同负责工作台跟一码通办、平台级应用的建设，构建全站专属云的产品形态，支撑部署在本地政务大屏助手、“龙政智搜”引擎与部署云端“政务智能助手”三大核心场景。

“龙政智搜”引擎以数字政府指标库、数据资源库、政策法规库等为渠道，汇聚全省各地各部门政务数据，对汇聚的数据构建标签体系，借助大语言模型技术，实现自然语言查询，方便用户随时随地查询想要的数据。 目前，“龙政智搜”引擎实现了政务服务、政务公开、经济运行等8大模块数据的智能搜索，支持模糊搜索、趋势搜索、时间空间维度搜索等多种搜索方式，支持图表展示、图表个性化定制、数据下钻等多种展示方式，提供智搜热点、联想搜索、政务热门词词云等便捷功能，提升用户使用的便利度。

中级经济师，聚焦产业数字化和数字政府等领域，从事行业洞察研究等相关工作。