增强大模型的能力：添加插件&RAG

未分类

插件

大模型在处理一些任务时会给出错误的答案
但是的通过插件可以增强他的能力 意识的他回答增强

插件就是大模型的工具集
大模型使用工具就好比人类使用工具

RAG

什么是rag
rag实现原理
rag应用构建方法
如何构建评测体系 驱动rag应用持续改进
rag问题归因和效果改善的系统化思路

1.什么是rag

知识库、定制化知识库，关联模型：
检索增强生成包括三个步骤，建立索引、检索、生成。

创建知识库、
建立索引：数据清洗提起、切块
向量化
检索
相似度匹配

2.改进rag应用

建立一套"考核-诊断-提升"的体系
2.1 评测优先 建立持续优化的基础

评测前
- 补充手册：完善知识库
- 丰富考题/测试集：常问但答不好的问题加入测试集
- 指明方向：技术团队优化重点
- 调整话术： 优化提示词让回答更符合业务风格

业务专家：迭代评测集
技术团队：自动评测系统

2.2 建立评测标准
2.2.1 评价找资料的质量 （检索模块）
准确率：检索到的文章有多少是相关的
召回率：相关的文档有多少被检索到了
F1值：准确率和召回率的平衡指标

• 答非所问 准确率低
• 回答不够全面 召回率低

2.2.3 评价 “讲解”的质量 （生成模块）
- 相关性 是否切题
- 真实性 是否按资料讲没有编造
- 完整性 信息是否充分
- 流畅性 表达是否自然

一本正经地胡说八道--》真实性问题
表达生硬--》 流畅性问题

2.2.4 评价“整体效果”（端到端）

• 用户满意度
• 问题解决率
• 响应时间

3.整体效果不好时如何分析
六步归因法
- 回答是否正确有效
- 意图理解是否正确
- 检索内容是否正确
- 召回排序是否合理
- 问题改写是否正确
- 知识库是否有错漏
- 问题改写是否正确

3.如何通过技术手段优化rag效果

• 提升索引准确性
  
  • 优化文本解析过程
  • 优化chunk切分模式
  • 句子滑动窗口检索
  • 自动合并检索/树型切分检索型
  • 混合检索：关键词+语义双保险
• 提升意图识别准确性
  
  • enrich 完善用户问题
  • multi-query 多路召回
  • rag-fusion过滤融合
  • step back 问题摘要
  • decomposition 问题分解
  • HyDE 假设答案
  • Self-RAG 自我反思，自问自答修正
• 增加信息提取途径
  
  • CRAG 改造信息抽取途径：知识库没有就上网搜索。“没有”的标准：1.看相似度分数，2.问大模型
  • 从多种数据源中获取资料：从数据库查数据NL2SQL；从；知识图谱挖关系
• 更换排序模型或 embedding 模型
  
  • 选择更适合业务的embedding模型
  • 选择更合适业务的rerank模型
• 更换基座模型：如果前面的手段效果都不理想，尝试