RAG技术性能提升之文档分块策略方案

点击上方 蓝色 “ 顶层架构领域 ”，关注精彩与你分享

在人工智能领域，尤其是大型语言模型（LLM）的应用中，检索增强生成（Retrieval-Augmented Generation, RAG）技术正变得越来越重要。RAG技术通过结合检索和生成能力，为模型提供了丰富的外部知识源，从而生成更准确、更符合上下文的答案。本文将深入探讨RAG技术中的文档分块策略，这些策略对于提高检索效率和生成质量具有决定性作用。

一、文档分块策略的重要性

• 提高检索的准确性和效率。
• 保持文本的逻辑和语义完整性。
• 增强模型对文本内容的理解和生成能力。

二、固定大小分块

核心优势：

• 简单易实现，计算成本低，不需要复杂的NLP处理。
• 适用于对文本进行标准化处理的场景。

示例代码：

from langchain.text_splitter import CharacterTextSplitter
text_splitter = CharacterTextSplitter.from_tiktoken_encoder(encoding="cl100k_base", chunk_size=100, chunk_overlap=0)texts = text_splitter.split_text(state_of_the_union)

三、基于结构的分块

核心优势：

• 利用文档结构信息，提高分块的语义相关性。
• 适用于结构化文档的处理。

from langchain.text_splitter import HTMLHeaderTextSplitter
html_string = "..."headers_to_split_on = [("h1", "Header 1"), ("h2", "Header 2"), ("h3", "Header 3")]html_splitter = HTMLHeaderTextSplitter(headers_to_split_on=headers_to_split_on)html_header_splits = html_splitter.split_text(html_string)

四、基于语义的分块

核心优势：

• 保持语义完整性，提高文本的可读性和理解性。
• 适用于需要深入理解文本内容的场景。