coir

给代码检索模型做全面体检,一张卷子测出真实力。

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 搜索知识 🍴 复刻 18 🐛 待处理 12 👀 关注 3
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 157
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0 许可证,完全免费,无付费版本。

项目预览

coir 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类搜索知识
开发团队CoIR-team
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0 许可证,完全免费,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型benchmark,code,code-retrieval,code-retrieval-augmented-generation,dataset,dpr,huggingface,nlp,passage,passage-retrieval,pytorch,rag,retrieval,retrieval-augmented-generation
GitHub 星标★ 157
上线时间2024-06-07 00:00:00
代码更新2025-06-30
仓库体积2.6 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

coir 是一个面向代码信息检索(Code Information Retrieval)的综合基准测试集,发表于 ACL 2025 Main。它旨在解决现有代码检索评测任务单一、覆盖面窄的问题,为评估检索模型在代码相关场景中的能力提供标准化、多维度的测试平台。coir 包含多种检索任务,覆盖代码搜索、代码摘要匹配、代码-文档关联等核心场景,并提供了统一的评估协议和数据集,帮助研究者和开发者客观比较不同检索模型(如基于稠密向量、稀疏检索或重排序)的性能。其核心能力在于构建了高质量、多样化的评测数据,并支持可复现的基准测试流程,从而推动代码智能检索领域的发展。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 157

核心亮点

  • 首个综合性的代码信息检索基准,覆盖多任务、多维度,弥补单一评测的不足
  • 基于 ACL 2025 论文,评测协议严谨,数据质量有学术背书
  • 提供统一评估脚本,方便研究者复现和对比不同检索模型

不足之处

  • 项目早期,星标少,社区生态和文档完善度待观察
  • 基准测试集规模可能有限,扩展性需后续验证

适用场景

  • 学术研究:评估新提出的代码检索模型性能
  • 工业选型:对比不同检索方案在代码场景的效果
  • 教学实验:用于信息检索课程或代码智能相关教学

替代项目

CodeSearchNet、CoSQA、AdvTest

上一篇:rageval

下一篇:Loong

同类项目推荐

eval 开源

用真实编码任务测出大模型真实力,结果公开可对比

Public results and task definitions for FrontierHarness Eval

★ 337 2026-09-05
promptmap 开源

给 LLM 应用做安全体检,防提示注入攻击

a security scanner for custom LLM applications

★ 1294 2026-08-09
S-Eval 开源

一键自动化评估大模型安全,覆盖多风险场景

S-Eval: Towards Automated and Comprehensive Safety Evaluation for Large Language Mod···

★ 123 2026-08-09
promptbench 开源

一套框架,全面测出大模型真实力与弱点

A unified evaluation framework for large language models

★ 2819 2026-08-09
nordef-matrix-open-control 开源

给 AI 加一道可验证的安全闸门,三态决策拦截风险

NORDEF Matrix Open Control: model-independent AI safety belt with 0/1/2 decisions, E···

★ 680 2026-09-14
PhyX 开源

测测你的AI有没有物理常识,一测便知

PhyX: Does Your Model Have the "Wits" for Physical Reasoning?

★ 55 2026-08-09
heretic 开源

一键去除模型审查,解锁无限制回答

Training-free language model modification: Remove censorship, suppress slop, reduce ···

★ 40088 2026-08-09
athina-evals 开源

给 LLM 响应做质检,快速发现模型输出问题

Python SDK for running evaluations on LLM generated responses

★ 302 2026-08-09