点击上方 蓝色 “ 顶层架构领域 ”，关注精彩与你分享

Rerankers库是一个轻量级的Python库，旨在统一多种重排（re-ranking）方法，使得研究人员和实践者能够轻松地探索不同的重排方法，只需更改少量代码即可。该库提供了一种简单的接口，可以加载和使用不同的重排方法，从而简化了RAG（Retrieval-Augmented Generation）模型中的重排序过程。

一、Rerankers库设计原则

Rerankers库的设计原则包括轻量级、易理解、易于集成、易于扩展和便于调试。它通过提供一个统一的API，简化了各种重排序模型的应用，解决了不同模型间转换的痛点。

此外，rerankers确保其实现尽可能少地依赖于其他，并在可能的情况下重复使用原始实现，保证了简化的界面与更复杂的界面对比不会导致性能下降。

二、统一RAG重排序算法实现

Rerankers库支持多种主流的排序模型，包括但不限于SentenceTransformers、Transformers、ColBERT，以及直接对接的API服务等。这些模型的选择基于它们在大型语言模型公司中的代表性以及通过API的可访问性。

Rerankers库的实现通常依赖于机器学习算法，如深度学习模型等，这些算法通过对大量数据进行训练，学习如何评估文档与原始问题的相关度，并据此进行排序。

三、Rerankers 应用案例

Rerankers库在自然语言处理中的应用案例包括搜索引擎优化、内容推荐系统、对话系统和学术文献筛选等方面。

在这些应用中，Rerankers通过智能筛选和排序技术，提高了检索结果的相关性和准确性，从而提升了用户体验。

四、安装与使用

# Core package only, will require other dependencies already installed
pip install rerankers

# All transformers-based approaches (cross-encoders, t5, colbert)
pip install "rerankers[transformers]"

# RankGPT
pip install "rerankers[gpt]"

# API-based rerankers (Cohere, Jina, soon MixedBread)
pip install "rerankers[api]"

# FlashRank rerankers (ONNX-optimised, very fast on CPU)
pip install "rerankers[flashrank]"

# RankLLM rerankers (better RankGPT + support for local models such as RankZephyr and RankVicuna)
# Note: RankLLM is only supported on Python 3.10+! This will not work with Python 3.9
pip install "rerankers[rankllm]"

# To support LLM-Layerwise rerankers (which need flash-attention installed)
pip install "rerankers[llmlayerwise]"

# All of the above
pip install "rerankers[all]"

使用， 无论架构如何，只需一行即可加载任何支持的重新排序程序：

from rerankers import Reranker

# Cross-encoder default. You can specify a 'lang' parameter to load a multilingual version!
ranker = Reranker('cross-encoder')

# Specific cross-encoder
ranker = Reranker('mixedbread-ai/mxbai-rerank-large-v1', model_type='cross-encoder')

# FlashRank default. You can specify a 'lang' parameter to load a multilingual version!
ranker = Reranker('flashrank'