RAG 结果重排

​

RRF

​

基本概念

​

示例

​

列表数据

• 朋友A的列表：
  1. 书架
  2. 桌子
  3. 床下
• 朋友B的列表：
  1. 床下
  2. 书架
  3. 桌子
• 朋友C的列表：
  1. 桌子
  2. 书架
  3. 床下

​

RRF 计算过程

1. 书架
   • 在朋友A的列表中排名第1：$\frac{1}{1} = 1$
   • 在朋友B的列表中排名第2：$\frac{1}{2} = 0.5$
   • 在朋友C的列表中排名第2：$\frac{1}{2} = 0.5$
   • 总分： $1 + 0.5 + 0.5 = 2$
2. 床下
   • 在朋友A的列表中排名第3：$\frac{1}{3} = 0.33$
   • 在朋友B的列表中排名第1：$\frac{1}{1} = 1$
   • 在朋友C的列表中排名第3：$\frac{1}{3} = 0.33$
   • 总分： $0.33 + 1 + 0.33 = 1.66$
3. 桌子
   • 在朋友A的列表中排名第2：$\frac{1}{2} = 0.5$
   • 在朋友B的列表中排名第3：$\frac{1}{3} = 0.33$
   • 在朋友C的列表中排名第1：$\frac{1}{1} = 1$
   • 总分： $0.5 + 0.33 + 1 = 1.83$

​

排序结果

• 书架: 2
• 桌子: 1.83
• 床下: 1.66

​

Reranker

​

Maven 依赖

<dependency>
    <groupId>dev.langchain4j</groupId>
    <artifactId>langchain4j-jina</artifactId>
</dependency>

​

基本用法

// 创建Jina评分模型
ScoringModel scoringModel = JinaScoringModel.builder()
    .apiKey(System.getenv("JINA_API_KEY"))
    .modelName("jina-reranker-v2-base-multilingual")
    .build();

// 创建内容聚合器
ContentAggregator contentAggregator = ReRankingContentAggregator.builder()
    .scoringModel(scoringModel)
    // 可以添加其他配置选项
    .build();

// 创建检索增强器
RetrievalAugmentor retrievalAugmentor = DefaultRetrievalAugmentor.builder()
    // 添加其他必要的配置
    .contentAggregator(contentAggregator)
    .build();

// 构建AI服务
Assistant assistant = AiServices.builder(Assistant.class)
    .chatModel(/* 配置你的语言模型 */)
    .retrievalAugmentor(retrievalAugmentor)
    .build();

​

关键组件说明

1. JinaScoringModel: Jina Reranker的核心组件，需要API密钥和模型名称。
2. ReRankingContentAggregator: 使用评分模型来重新排序检索到的内容。
3. RetrievalAugmentor: 整合检索和重新排序过程的高级组件。
4. AiServices: LangChain4j的工具类，用于构建集成了各种功能的AI服务。

​

注意事项

• 设置JINA_API_KEY环境变量。
• 选择适合任务的Jina模型。
• ReRankingContentAggregator和RetrievalAugmentor可能需要额外配置。

​

进阶使用

1. 调整重新排序的参数，如考虑的结果数量。
2. 结合其他检索技术，如向量搜索。
3. 实现自定义的评分逻辑。

​

RRF vs Reranker 比较

​

结论