大模型专题：2023预训练大模型与医疗

如何下载资料？

微信扫下方二维码加入星球平台

【老会员续费特惠】

今天分享的是：大模型专题：2023预训练大模型与医疗

报告共计：53页

《预训练大模型与医疗：从算法研究到应用》由清华大学自动化系闾海荣博士在2023年分享。报告先介绍了预训练大模型，包括从大数据到小数据的预训练方式，以英文电子病历后结构化为例说明预训练的过程，以及Transformer架构作为预训练基石的重要性。详细阐述了BERT和GPT两类典型大语言模型的特点和训练方式，如BERT的双向模型及掩码语言模型和下一句预测任务，GPT的单向生成文本方式等。接着讨论了提升大模型精确性和可解释性的多种思路，如知识嵌入、知识预测、少样本提示、自我一致性、提示语工程等。在医疗领域，大模型有广泛应用场景，包括自动印象生成、医学图像辅助诊断等，如ImpressionGPT通过动态提示和迭代优化增强ChatGPT对放射学报告摘要的适应性，ChatCAD将语言模型与医学图像CAD模型结合提升诊断性能。清华大学团队在医疗领域也有探索工作，如融合知识图谱与大模型，提出EnhancedBERT架构等。此外，还介绍了清华大学数基生命交叉创新群体在智能医疗方面的工作，包括信息获取、理解与呈递，以及数基生命的新范式和相关应用，如单细胞生物信息学与人类细胞图谱数据库、智能应用等内容，为医疗领域的研究和发展提供了新的思路和方向。

以下为报告节选内容

扫下方二维码加入我们

海量+专业+深度