大家好,我是GitHub好项目君,每天分享GitHub上的好项目
我们每天分享开源项目,根据开源协议都可以赚钱
MedicalGPT
训练医疗大模型,实现了包括增量预训练、有监督微调、
RLHF(奖
励建模、强化学习训练)和DPO(直接偏好优化)。
镜像源代码:
http://www.gitpp.com/gitppai/medicalgpt
MedicalGPT是一个基于OpenAI的GPT-3架构或LLaMA-13B的中英医疗问答模型(LoRA),专为医疗领域定制。该项目旨在通过理解和生成医学相关的文本,提供智能化的辅助诊断、咨询和知识检索服务。
MedicalGPT的核心是GPT-3模型,这是一个大规模的Transformer架构,能够理解并生成各种长度和复杂度的文本。在医疗领域的应用中,它经过大量的医学文献、临床报告等数据的预训练,具备了对专业术语和概念的理解能力。此外,MedicalGPT支持多轮对话,可以理解上下文,进行连续问答,为用户提供流畅的对话体验。
为了训练MedicalGPT,项目团队采用了包括二次预训练、有监督微调、奖励建模、强化学习训练在内的四阶段训练方法。具体来说,MedicalGPT的V1版本发布了一个基于Ziya-LLaMA-13B-v1模型的中文医疗LoRA模型,通过SFT微调提升了医疗问答效果,并发布了微调后的LoRA权重。
在健康医疗领域中,GPT可以作为一个智能医疗助手,为患者提供个性化的医疗服务,如医学咨询、病症诊断、健康建议等。与传统的医生问诊相比,GPT可以随时随地提供服务,而且能够处理大量患者提问,解决医生客观时间不足的难题。此外,GPT还可以通过诊断病症、预测疾病、管理健康等方面进行分析和建议,进一步推动健康医疗领域的数字化升级。
要运行MedicalGPT,需要一定的技术环境,如Python环境和PyTorch库。用户可以通过conda命令创建名为medicalgpt的虚拟环境,并安装相应版本的Python。然后,从MedicalGPT的仓库下载源码和模型,按照指示进行安装和配置。
演示
比如可以输入“小孩发烧怎么办”
又或者咨询痤疮或者青春痘等
除了可以回答医学类相关的问题外,还具备chatGPT基本的对话能力和创作能力,比如写诗等