项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 2333
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- Python 3.9 及以上版本(README 明确说明 Tested with python versions 3.9+)
- pip 包管理工具
- 如需使用 encode_and_retrieve() 密集检索,需额外安装 faiss-cpu
- 如需 LoRA + vLLM 示例,需额外安装 peft、accelerate、vllm
- 如需调用 Cohere 等外部 API 示例,需安装 cohere 并自备 API Key
安装与启动步骤
-
1检查 Python 版本
BEIR 官方仅在 Python 3.9 及以上版本测试通过,先确认本机版本满足要求,建议在虚拟环境中安装。
python --version -
2pip 安装 BEIR
最简安装方式,直接从 PyPI 拉取 beir 包,适合只想调用 API 的普通用户。
pip install beir -
3源码安装(可选)
需要改动源码或跟进最新提交时使用;-e 为可编辑安装,clone 下来的目录名即 beir。
git clone https://github.com/beir-cellar/beir.git cd beir pip install -e . -
4安装 faiss 依赖(可选)
仅在使用 encode_and_retrieve() 做密集检索时需要,README 指定安装 CPU 版 faiss。
pip install faiss-cpu -
5安装 LoRA/vLLM 依赖(可选)
README 的 LoRA & vLLM 快速示例要求先装这三个包,用于大模型检索与重排序场景。
pip install peft pip install accelerate pip install vllm -
6安装 Cohere API 依赖(可选)
调用 Cohere 等外部 API 的示例需要该 SDK,同样建议配合 faiss-cpu 使用。
pip install cohere -
7查阅官方快速开始文档
README 的代码片段被截断,未给出可直接执行的完整脚本,请按 Quick Start 链接访问官方 Wiki 获取教程。
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
results_dir | 否 | 保存评估结果与 runfile 的输出目录,示例中建于脚本同级 results 目录 | os.path.join(pathlib.Path(__file__).parent.absolute(), "resu |
如何确认成功
执行 pip show beir 能看到包版本信息,或在 Python 中 import beir 不报 ModuleNotFoundError,即表示安装成功。
常见问题
Q:安装完 beir 后 import 报错怎么办?
A:先确认 Python 版本为 3.9 及以上,并检查是否装在同一虚拟环境中;建议使用 venv 或 conda 新建环境后重新 pip install beir。
Q:运行 encode_and_retrieve() 提示缺少 faiss 怎么办?
A:README 说明该函数依赖 faiss,执行 pip install faiss-cpu 安装 CPU 版即可。
Q:想用 LoRA 或 vLLM 做检索怎么办?
A:按 README 先执行 pip install peft、pip install accelerate、pip install vllm 三个命令,再参考官方 Wiki 的对应示例。
Q:README 里的示例代码不完整怎么跑?
A:README 节选中的代码块被截断,请访问 Quick Start 中的 Installing BEIR 与 Examples and tutorials 两个 Wiki 链接获取完整示例。
注意事项
- BEIR 是 Python 库而非独立服务,安装后按需在脚本中 import 调用即可。
- 官方明确测试的 Python 版本为 3.9+,低版本可能出现兼容问题。
- faiss-cpu、peft、accelerate、vllm、cohere 均为按功能选装的可选依赖,不装也能使用基础检索评估功能。
- 本节选未提供端口、路径、模型名等具体参数,请以官方 Wiki 与 Hugging Face 页面为准。
核心亮点
- 覆盖15+个跨领域检索数据集,评估结果更全面,避免单一数据集上的过拟合判断。
- 提供统一且易用的Python接口,几行代码即可完成多数据集评估,上手门槛低。
- 支持稀疏、密集、重排序等多种检索范式,方便横向对比不同技术路线。
不足之处
- 数据集规模相对较小,可能无法完全反映大规模真实场景的检索性能。
- 文档/社区待观察,部分数据集的预处理细节需自行查阅原始论文。
适用场景
- 学术研究:对比新提出的检索模型与基线模型的综合性能。
- 工业选型:在统一基准上评估不同检索方案,辅助技术决策。
- 教学实验:作为信息检索课程的标准化评估工具,便于学生实践。
替代项目
MS MARCO、TREC CAR、LoTTE
上一篇:evalscope
下一篇:continuous-eval
同类项目推荐
GitTaskBench
开源
用真实仓库任务,测出代码代理的真实水平
Repo-level benchmark for real-world Code Agents: from repo understanding → env setu···
inference-perf
开源
给大模型推理服务做压测,量化吞吐延迟
GenAI inference performance benchmarking tool
ArtifactsBenchmark
开源
一键跑分,量化 AI 生成工件质量
ChineseHarm-bench
开源
测一测你的模型对中文有害内容有多能扛
ChineseHarm-Bench: A Chinese Harmful Content Detection Benchmark
common_metrics_on_video_quality
开源
一键计算视频生成质量指标,快速对比模型效果
You can easily calculate FVD, PSNR, SSIM, LPIPS for evaluating the quality of genera···
OpenJudge
开源
给AI智能体当裁判,量化每一步质量,训练更靠谱的Agent。
OpenJudge: A Unified Framework for Holistic Evaluation and Quality Rewards
AgentBench
开源
一套基准测出 LLM 当智能体到底行不行
A Comprehensive Benchmark to Evaluate LLMs as Agents (ICLR'24)
context-bombs
开源
用现成的攻击字符串,测出你的 AI 系统抗不抗揍。
Context bomb strings
awesome-llm-security
开源
一站式找到 LLM 安全工具和资料,防坑避雷
A curation of awesome tools, documents and projects about LLM Security.
