全文总结

本研究表明，使用检索增强生成（RAG）和提示工程的定制化大型语言模型（LLM）框架显著提升了对丙型肝炎病毒管理临床指南的解读准确性，达到了99%的准确率，而基线模型仅为43%

摘要

大型语言模型 （LLM） 可能会改变医疗保健行业，尤其是在医院工作流程中的正确时间向正确的提供商提供正确的信息。本研究调查了 LLM 与医疗保健的整合，特别关注通过准确解释慢性丙型肝炎病毒感染管理的医学指南来改进临床决策支持系统 （CDSS）。利用 OpenAI 的 GPT-4 Turbo 模型，我们开发了一个定制的 LLM 框架，该框架结合了检索增强生成 （RAG） 和提示工程。我们的框架涉及将指南转换为最佳结构格式，LLM 可以有效地处理这些格式，以提供最准确的输出。进行了一项消融研究，以评估不同格式和学习策略对 LLM 答案生成准确性的影响。将基线 GPT-4 Turbo 模型的性能与复杂性不断增加的五个实验设置进行了比较：包含上下文指南、指南重新格式化和实施小样本学习。我们的主要结局是基于专家评审的准确性定性评估，而次要结局包括使用文本相似度分数对 LLM 生成的回答与专家提供的答案的相似性进行定量测量。结果显示，当在连贯的文本语料库中提供指南作为上下文并将非文本源转换为文本时，准确性从 43% 显着提高到 99% （p < 0.001）。此外，小样本学习似乎并没有提高整体准确性。该研究强调，结构化指南重新格式化和高级提示工程（数据质量与数据数量）可以提高 LLM 与 CDSS 的集成以交付指南的有效性。

核心速览

研究背景

1. 研究问题 ：这篇文章研究了如何通过大型语言模型（LLMs）优化肝病临床指南的解释，特别是通过准确解释慢性丙型肝炎病毒（HCV）感染管理的医学指南来改进临床决策支持系统（CDSS）。

2. 研究难点 ：该问题的研究难点包括：确保LLMs准确解释复杂的临床指南，处理非文本来源的信息（如表格和图表），以及提高模型在生成准确答案方面的性能。

3. 相关工作 ：相关研究表明，LLMs在医疗领域的应用具有巨大潜力，但在临床决策支持中的应用仍面临挑战。现有的研究主要集中在LLMs在医学问答、对话系统和临床报告生成等方面的应用。

研究方法

这篇论文提出了一种基于检索增强生成（RAG）和提示工程的框架，用于优化LLMs在解读肝病临床指南中的应用。具体来说，

1. 检索增强生成（RAG） ：RAG是一种结合信息检索和生成式模型的方法，通过检索相关文档中的信息来增强生成答案的准确性。在本文中，RAG用于将HCV指南转换为LLMs可以高效处理的格式。

2. 提示工程 ：提示工程是指通过设计特定的提示（即输入文本）来指导LLMs生成特定类型的回答。本文设计了一系列提示，以帮助LLMs更好地理解和解释结构化指南。

3. 格式转换 ：为了提高LLMs的解析能力，本文将指南中的表格从图像转换为文本列表，并将文本清洗和格式化，以提供一致的结构。

实验设计

本文的实验设计包括以下几个方面：

1. 数据收集 ：选择了欧洲肝脏病学会（EASL）发布的HCV治疗指南作为研究数据，涵盖了筛查和管理的广泛建议。

2. 样本选择 ：两位专家肝病学家起草了20个代表性问题，涵盖指南正文、表格和临床场景。

3. 实验设置 ：进行了五项实验，逐步增加指南格式化、提示工程和少样本学习的复杂性。具体设置如下：

• 基线实验 ：仅使用GPT-4 Turbo模型，不提供任何上下文。

• 实验1 ：将指南上传为上下文，不进行额外的文本清洗。

• 实验2 ：手动清洗指南，移除非信息性数据，并将表格从图像转换为CSV文件。

• 实验3 ：清洗和格式化指南，提供一致的结构，并将表格转换为

  文本列表。

• 实验4 ：在实验3的基础上，添加提示工程。

• 实验5 ：在实验4的基础上，添加54个问答对进行少样本学习。

结果与分析

1. 准确性分析 ：定制框架的整体准确性达到了99.0%，显著优于单独的GPT-4 Turbo模型（43.0%）。具体来说，

• 包含上下文指南的准确性提高了67.0%。

• 清洗文本并将表格转换为CSV文件后，准确性提高到78.0%。

• 格式化文本并将表格转换为文本列表后，准确性进一步提高到90.0%。

• 添加自定义提示工程后，准确性达到99.0%，尽管少样本学习未能进一步提高准确性。

2. 文本相似性分析 ：定制框架在各项文本相似性指标（BLEU、ROUGE-LCS F1、METEOR F1和自定义OpenAI评分）上均优于基线模型。具体来说，

• 文本问题的整体相似性得分从基线的0.025提高到0.140。

• 表格问题的整体相似性得分从基线的0.025提高到0.124。

• 临床场景问题的整体相似性得分从基线的0.025提高到0.124。

总体结论

本文提出了一种基于RAG和提示工程的框架，显著提高了LLMs在解读肝病临床指南中的准确性。研究表明，结构化指南格式化和高级提示工程可以提高LLMs的整合效果。尽管少样本学习未能进一步提高准确性，但本文的发现为未来研究提供了重要的参考，特别是在提高LLMs解析非文本来源信息的能力方面。

论文评价

优点与创新

1. 显著提高了准确性 ：通过结构化指南重格式化和高级提示工程，框架显著提高了LLM在生成准确指南特定建议方面的能力，整体准确性从43%提高到99%。

2. 多种实验设置 ：研究设计了五种实验设置，逐步增加了指南重格式化、提示架构和少样本学习的复杂性，全面评估了不同因素对LLM输出的影响。

3. 定性评估与定量测量相结合 ：研究采用了基于专家审查的定性评估和文本相似度分数的定量测量相结合的方法，提供了全面的性能评估。

4. 零样本学习能力的验证 ：发现零样本学习在没有少样本策略的情况下已经足够强大，进一步研究可以探索少样本学习的效果。

5. 详细的实验记录 ：实验设计详细，包括指南选择、标准化提示创建、消融研究等步骤，提供了可复现的研究基础。

不足与反思

1. 非文本源解析的困难 ：研究发现LLMs难以解析表格，表转换为文本列表后性能显著提高，表明LLMs在处理非文本源时存在局限性。

2. 少样本学习的无效性 ：尽管少样本学习没有提高整体准确性，但研究未进一步探索其他LLM模型（如Llama或PaLM）的性能。

3. 资源限制 ：实验资源有限，未能测试温度参数变化对框架性能的影响，也未评估其他LLM模型的表现。

4. 下一步工作 ：需要进一步研究以提高LLMs解析非文本源的能力，并验证新的评估指标，以更好地评估临床LLM应用的准确性和相关性。

关键问题及回答

问题1：在实验设计中，如何通过格式转换和提示工程来提高LLMs的解析能力？

1. 格式转换 ：将HCV指南中的表格从图像转换为文本列表，并将文本清洗和格式化，以确保一致的段落标题和推荐列表。具体步骤包括：使用Python库PyPDF2将PDF指南转换为UTF-8编码的TXT文件，手动将表格从图像转换为CSV文件，然后再转换为文本列表。

2. 提示工程 ：设计了一系列提示来指导LLMs理解结构化指南并生成准确的答案。提示工程的具体方法包括在文本开头添加“Paragraph Title”来标识段落标题，将段落推荐组织成“Paragraph Recommendations”列表，将证据报告组织成“Paragraph Text”等。

通过这些格式转换和提示工程，LLMs能够更好地理解和解析结构化的临床指南，从而提高其生成答案的准确性。

问题2：在结果分析中，定制框架在不同类型问题上的表现如何？与基线GPT-4 Turbo相比有哪些显著提升？

1. 文本问题 ：定制框架的准确性达到了100%，显著优于基线GPT-4 Turbo的62.0%（p<0.001）。这表明定制框架在处理文本问题时能够完全准确地生成答案。

2. 表格问题 ：定制框架的准确性达到了96.0%，显著优于基线GPT-4 Turbo的28.0%（p<0.001）。这说明通过格式转换和提示工程，LLMs能够有效解析表格并生成准确的答案。

3. 临床场景问题 ：定制框架的准确性达到了100%，显著优于基线GPT-4 Turbo的20.0%（p<0.001）。这表明定制框架在处理复杂的临床场景问题时也能提供完全准确的答案。

总体而言，定制框架在所有问题类型上的表现均显著优于基线GPT-4 Turbo，特别是在处理复杂临床场景问题时，定制框架展现出了极高的准确性和可靠性。

问题3：在幻觉分析中，定制框架产生了哪些类型的幻觉，这些幻觉在实验中的分布情况如何？

在幻觉分析中，定制框架产生了以下类型的幻觉：

1. 事实冲突的幻觉（FCH）