研究显示RAG框架在处理政务查询时，可支援更复杂的问题，提供准确度高的答案，而所需的时间、算力和成本亦远低于增量预训练和微调方法。
文丨FT中文网专栏作家陈海亮、于淼
通用大语言模型能否直接应用于政务服务？
近年，类似于ChatGPT的大语言模型（Large Language Model，LLM）在全球迅速普及，展示出巨大的应用潜力。通过海量数据的训练，这些模型能够生成连贯且语义合理的文本，并具有卓越的问答能力。在政务服务领域，公众一般通过政府官网、移动应用查询政策法规、办事流程等信息，或者前往政务服务大厅求助。传统的政务服务主要依赖人工窗口服务和电话咨询，服务效率和响应速度往往受到限制，尤其是在遇到复杂问题或需要长时间排队等待时，公众满意度往往较低。随着技术的发展，特别是大语言模型的出现，政务服务逐渐迈进智能化、自动化。结合大语言模型的对话式咨询服务更为高效，能显著提升公众体验。
尽管大语言模型在处理常规问题时表现优异，但在涉及政策法规等专业领域时，仍面临诸多挑战。LLM的训练数据主要来源于互联网的公开内容，缺乏深入专业知识，可能导致生成不准确或不符合实际情况的回答。在某些特定场景下，模型可能会出现“幻觉”现象，即自信地提供错误信息。这种问题对普通用户来说通常难以识别，因为他们未必具备相关领域的专业知识。此外，政务政策经常更新变化，如果大语言模型未能及时获取最新的政策信息，其回答可能会与当前政策相冲突。由此可见，为提高政务AI系统的可靠性，除了确保回答的准确性外，还需加强其可解释性，以帮助用户理解每个回答的依据，此举亦有助提升系统的透明度和信任度。
RAG在政务服务中的应用特点
为了将大语言模型更好地应用于政务服务等场景，检索增强生成（Retrieval-Augmented Generation，RAG）框架应运而生。RAG技术通过两个步骤优化答案生成：首先，检索与用户问题相关的文档或文本片段；其次，利用LLM基于这些检索结果生成解答。引入RAG解决了当前政务服务中的一些问题，并表现出一定的优势【注1】。
首先，RAG通过集成外部知识库，确保模型生成的答案基于最新且权威的政策法规文本，大幅提升回答的准确性。其次，RAG支持更为复杂的查询方式，能够处理多层次和多维度的问题，不依赖单一的关键词匹配。通过结合检索结果与生成内容，RAG不仅提高了信息的准确度，还增强了用户对AI系统的信任度。这样，用户可清晰地看到每个回答背后的依据，减少了幻觉现象带来的困扰。此外，RAG技术的应用大幅降低成本和算力消耗。与增量预训练（Incremental Pre-training）和微调（Fine-tuning）相比，RAG无需重新训练大型模型，而是通过外部数据源的检索与补充来提升生成质量。因此，RAG框架在构建政务问答系统时所需的时间、算力和成本远低于传统的增量预训练和微调方法。
基础模型、微调模型与RAG框架：哪个最出色？
为了进一步评估RAG框架在政务法律领域的效果，笔者通过语义规则评分和事实一致性评分的对比分析，探讨基础模型、微调模型与RAG框架在生成内容质量及准确性方面的差异。研究结果显示，微调模型在语义评分方面表现最佳，全因其回答的语言风格和用词更接近标准答案。然而，微调模型存在一个显明问题，其“幻觉”现象较基础模型更为严重，生成的回答常包含许多与事实不符的内容，影响实际应用的可靠性。与之相比，基础模型生成的回答较为简洁，信息量相对较少。在处理复杂问题时，能力有限，应对高精度任务时表现欠佳。RAG框架则有效缓解幻觉现象，生成的回答中矛盾点明显少于微调模型，并且提供更多准确的信息，事实一致性较强。RAG框架在确保准确性和一致性的同时，能够有效减少幻觉现象，特别适用于需要外部知识支持的复杂任务，如政务咨询和分析。
在成本方面，经综合分析性能与资源消耗后发现，微调模型的成本是RAG框架的五倍，而RAG框架的成本则与基础模型相近。RAG框架在确保生成质量的同时，亦能显著降低成本，是效率与成本之间的理想选择。更关键的是，对于政府和企业而言，数据安全至关重要。RAG框架可通过完全私有化部署的方式应用，无需将敏感内部数据上传至第三方平台，有效降低数据泄露的风险【注2】。
政务服务的未来：从自动化到个性化
现时，RAG技术的政务问答助手，能够有效应对传统政务服务中的信息滞后、检索低效及人工干预等问题。随着技术持续进步，RAG系统预计在更广泛的应用领域上进一步扩展其功能，提供更加个性化的政务服务，例如智能内容推荐和数字人助手。这不仅有助于实现低延迟的语音交互，还能依据用户需求提供定制化的政务服务体验，让服务变得更个性化及精准。
注1：《智慧政务新篇章：AI助力政务服务创新》专题报告https://fwik3jehaxr.feishu.cn/file/FFCjbsGLzoiHuOxKcTPcNqn1nMb
注2：《智慧政务新篇章：AI助力政务服务创新》专题报告https://fwik3jehaxr.feishu.cn/file/FFCjbsGLzoiHuOxKcTPcNqn1nMb
本文仅代表作者个人观点
本文作者为港大经管学院助理院长（硕士课程）、人工智能研究所所长、创新及资讯管理学教授陈海亮以及港大经管学院博士生于淼
责任编辑 冯涛 [email protected]
图片来源 Getty Images
