coir

给代码检索模型做全面体检，一张卷子测出真实力。

coir 是一个面向代码信息检索（Code Information Retrieval）的综合基准测试集，发表于 ACL 2025 Main。它旨在解决现有代码检索评测任务单一、覆盖面窄的问题，为评估检索模型在代码相关场景中的能力提供标准化、多维度的测试平台。coir 包含多种检索任务，覆盖代码搜索、代码摘要匹配、代码-文档关联等核心场景，并提供了统一的评估协议和数据集，帮助研究者和开发者客观比较不同检索模型（如基于稠密向量、稀疏检索或重排序）的性能。其核心能力在于构建了高质量、多样化的评测数据，并支持可复现的基准测试流程，从而推动代码智能检索领域的发展。

开源 free 搜索知识

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 154

维护状态低维护

是否开源是

定价模式 free

项目数据

分类搜索知识

开发团队CoIR-team

所属国家

官网地址https://archersama.github.io/coir

GitHubhttps://github.com/CoIR-team/coir

定价模式free

价格说明开源项目，Apache-2.0 许可证，完全免费，无付费版本。

访问状态

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型benchmark,code,code-retrieval,code-retrieval-augmented-generation,dataset,dpr,huggingface,nlp,passage,passage-retrieval,pytorch,rag,retrieval,retrieval-augmented-generation

GitHub 星标★ 154

30天Star增速

HF 下载量

上线时间2024-06-07 00:00:00

最近更新2026-09-20 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数3

使用教程

核心亮点

首个综合性的代码信息检索基准，覆盖多任务、多维度，弥补单一评测的不足
基于 ACL 2025 论文，评测协议严谨，数据质量有学术背书
提供统一评估脚本，方便研究者复现和对比不同检索模型

不足之处

项目早期，星标少，社区生态和文档完善度待观察
基准测试集规模可能有限，扩展性需后续验证

适用场景

学术研究：评估新提出的代码检索模型性能
工业选型：对比不同检索方案在代码场景的效果
教学实验：用于信息检索课程或代码智能相关教学

替代项目

CodeSearchNet、CoSQA、AdvTest

项目介绍

coir 是评测安全领域的开源项目，由 CoIR-team 开发，2024 年首次发布。

它收录于评测安全分类，该分类目前共有 458 个项目，GitHub 星标数为 154。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-20。Apache-2.0 许可证，完全免费，无付费版本。

它主要面向的使用场景是：学术研究：评估新提出的代码检索模型性能。同类可对比的替代方案包括 CodeSearchNet、CoSQA、AdvTest。

上一篇：rageval

下一篇：Loong