RAG高级知识学习

RAG高级知识

常见检索策略

检索方法	原理	优势	劣势
向量检索	基于嵌入向量相似度搜索	理解语义关联，适合概念性查询	对关键词不敏感，召回可能不准确
全文检索	基于倒排索引，匹配关键词	精确匹配关键词，高召回率	不理解语义，同义词难以匹配
结构化检索	基于元数据或结构化字段查询	精确筛选，支持复杂条件组合	依赖良好的元数据，灵活性有限
知识图谱检索	利用实体间关系进行图遍历	发现隐含关系，回答复杂问题	构建成本高，需要专业知识

混合检索策略

单一检索策略容易有问题，就采用混合检索方法，多种方案满足自己的需求

1. 并行混合检索

   同时用多个方案检索，然后将结果融合和重排，最终生成结果

2. 级联混合检索

   先用一种方法广泛搜索，然后逐步用别的方法过滤

   比如用户查询→向量检索（广泛召回）→大量语义相关文档→关键词匹配（精确过滤）→语义+关键词匹配文档→元数据筛选

3. 动态混合检索

   加一个网关一样的东西，用户查询来了之后，通过网关选择适合的查询方式，最后合并和重排

大模型幻觉

事实性幻觉，逻辑性幻觉，自洽性幻觉

如何减少幻觉

1. RAG引入外部信息源

   好的RAG都有来源标注功能，能知道回答来源于具体文档的哪个部分。模型不确定的时候会诚实地表达不确定性，而不是猜测答案。

2. 引入思维链提高透明度

3. 采用事实验证模型评估

   引入事实评估机制，人工或者采用有多少个关键词的方法，去评估大语言模型的回答如何

RAG评估体系

常见的评估指标

1. 检索质量评估指标
   • 召回率：能否检索到所有的相关文档
   • 精确率：检索结果中相关文档的比例
   • 平均精度均值：考虑排序质量的综合指标
   • 规范化折扣积累增益：文档的相关性和他们在排名中的位置，衡量排名质量的指标
2. 生成回答质量评估指标
   • 事实准确性：回答中事实陈述的准确程度
   • 答案完整度：回答是否涵盖问题的所有方面
   • 上下文相关性：回答与问题的相关程度
   • 引用准确性：引用内容是否来自检索上下文

RAG评估流程

1. 生成评估数据集：类似测试用例一样
2. 运行评估检索的程序：对每个测试问题检索，对比文档计算评估指标
3. 评估回答质量
4. 综合分析和优化