检索增强生成中文本分块策略的实证研究

杨明可; 张安达; 黄煜骁; 张文清; 路康怡

doi:10.11959/j.issn.1000-0801.2025059

您当前的位置：

首页 >

文章列表页 >

检索增强生成中文本分块策略的实证研究

人工智能 | 更新时间：2025-05-13

- 检索增强生成中文本分块策略的实证研究
- 暂无标题
- 电信科学 2025年41卷第Z1期页码：28-33
- 作者机构：
  
  中国电信集团有限公司上海分公司云网运营部，上海 200120
- 作者简介：
  
  杨明可（1998- ），男，现就职于中国电信股份有限公司上海分公司云网运营部，主要从事知识库原型算法研究相关工作。
  张安达（1995- ），男，现就职于中国电信股份有限公司上海分公司云网运营部，主要从事大模型应用和RAG相关工作。
  黄煜骁（1993- ），男，现就职于中国电信股份有限公司上海分公司云网运营部，主要从事AI相关基础平台和应用能力建设规划和总体架构设计工作。
  张文清（1999- ），女，现就职于中国电信股份有限公司上海分公司云网运营部，主要从事异构文档智能解析相关研究工作。
  路康怡（1999- ），女，现就职于中国电信股份有限公司上海分公司云网运营部，主要从事知识库原型算法研究相关工作。
- 基金信息：
- DOI：10.11959/j.issn.1000-0801.2025059
  中图分类号： TP393
- 收稿：2024-11-15，
  
  修回：2025-02-15，
  
  纸质出版：2025-03-25
- 稿件说明：
移动端阅览
杨明可,张安达,黄煜骁等.检索增强生成中文本分块策略的实证研究[J].电信科学,2025,41(Z1):28-33.
杨明可,张安达,黄煜骁等.检索增强生成中文本分块策略的实证研究[J].电信科学,2025,41(Z1):28-33. DOI： 10.11959/j.issn.1000-0801.2025059.

DOI：

摘要

大语言模型在自然语言处理领域取得了显著进展，在多个领域广泛应用。然而，这些模型在生成回答时面临幻觉问题。为解决这一问题，检索增强生成技术通过从外部知识库检索相关信息来提高模型输出的事实准确性。重点研究了检索增强生成技术中的文本分块策略，并通过实证研究评估了这些策略在电信内部文档中的表现。研究结果表明，固定大小分块和按标记分割方法在召回率和准确率上表现相对较差，适用于简单任务；递归字符和语义分块可以提升召回率，但准确率不足，适用于需要捕捉局部结构和语义信息的任务；大语言模型分块方法在召回率和准确率上均表现最佳，但其计算复杂度和资源需求较高，适用于对性能要求较高的复杂任务。为实施有效分块技术提供了最佳实践，并为优化检索增强生成以改善用户体验提供了见解。

Abstract

关键词

Keywords

references

YU J F , WANG X Z , TU S Q , et al . KoLA: carefully benchmarking world knowledge of large language models [J ] . arXiv preprint , arXiv: 230609296 , 2023 .

YANG Y H , TOMAR A . On the planning, search, andMemorization capabilities ofLarge language models [C ] // Proceedings of International Conference on Intelligent Vision and Computing (ICIVC 2023) . Cham : Springer Nature Switzerland , 2024 : 24 - 38 .

潘盼 , 蒋硕然 , 刘于红 , 等 . 大语言模型ChatGPT在电阻抗断层显像(EIT)肺通气诊断中的应用价值 [J ] . 中国急救医学 , 2023 , 43 ( 10 ): 760 - 767 .

杨兴睿 , 马斌 , 李森垚 , 等 . 基于大语言模型的教育文本幂等摘要方法 [J ] . 计算机工程 , 2024 , 50 ( 7 ): 32 - 41 .

陆岷峰 , 高伦 . 大语言模型发展现状及其在金融领域的应用研究 [J ] . 金融科技时代 , 2023 , 31 ( 8 ): 32 - 38 .

HUANG L , YU W J , MA W T , et al . A survey on hallucination in large language models: principles, taxonomy, challenges, and open questions [J ] . ACM Transactions on Information Systems , 2025 , 43 ( 2 ): 1 - 55 .

FAN W Q , DING Y J , NING L B , et al . A survey on RAG meeting LLMs: towards retrieval-augmented large language models [C ] // Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining . New York : ACM , 2024 .

FINARDI P , AVILA L , CASTALDONI R , et al . The chronicles of RAG: the retriever, the chunk and the generator [J ] . arXiv preprint , arXiv: 240107883 , 2024 .

MANSUROVA A , MANSUROVA A , NUGUMANOVA A . QA-RAG: exploring LLM reliance on external knowledge [J ] . Big Data and Cognitive Computing , 2024 , 8 ( 9 ): 115 .

SENNRICH R . Neural machine translation of rare words with subword units [J ] . arXiv preprint , arXiv: 150807909 , 2015 .

PEREZ F , RIBEIRO I . Ignore previous prompt: Attack techniques for language models [J ] . arXiv preprint , arXiv: 221109527 , 2022 .

WANG W , ZHANG S , REN Y , et al . Needle In A Multimodal Haystack [J ] . arXiv preprint , arXiv: 240607230 , 2024 .

浏览量

337

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

中文检索增强生成在政务热线领域的创新与应用

基于大语言模型RAG搭建智能电话小结流程

业务驱动引领大语言模型应用开发新变革

基于大语言模型的客服培训系统研究与实现