FeatureBench

用真实功能开发任务，量出编码智能体的真实水平

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 评测安全 🍴 复刻 13
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 100
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源基准，免费使用

项目预览

FeatureBench 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类评测安全
开发团队LiberCoders
官网地址https://LiberCoders.github.io/FeatureBench
GitHubhttps://github.com/LiberCoders/FeatureBench
定价模式🏷️完全免费
价格说明开源基准，免费使用
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型agentic-coding,benchmark,large-language-model,software-engineering
GitHub 星标★ 100
上线时间2026-01-20 00:00:00
代码更新2026-10-30
仓库体积14.8 MB
本站数据更新2026-11-05
维护状态活跃
收录时间2026-11-05
浏览次数0

项目介绍

FeatureBench 是 ICLR 2026 论文的官方实现，用于评测 AI 编码智能体完成复杂功能开发任务的能力。现有编码基准多聚焦单文件修复或函数级生成，难以反映真实工程中跨文件、多模块、带依赖的功能开发过程。该项目构建了一套贴近实际软件工程的功能级任务集，配套可复现的评测流程与自动化判定机制，衡量智能体在需求理解、代码定位、跨文件修改、测试通过率等维度的表现。核心能力包括：标准化任务定义与运行环境、智能体执行轨迹采集、基于测试的功能正确性验证、多维度结果汇总与对比。适合研究者评估不同大模型或智能体框架在复杂功能开发上的真实水平，也适合团队在选型时做横向对比。项目为 Python 实现，处于早期阶段，星标约 100，文档与社区仍在完善中。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-11-05 · 当前星标 ★ 100

核心亮点

  • 任务聚焦跨文件、多模块的复杂功能开发，比单函数生成更贴近真实工程场景
  • 自带自动化测试判定与可复现运行环境，评测结果可横向对比
  • 提供智能体执行轨迹采集与多维度指标汇总，便于分析失败原因

不足之处

  • 项目处于早期，星标约 100，文档完整度与社区活跃度待观察
  • 任务集规模与覆盖领域有限，结论泛化性需更多验证
  • 依赖具体智能体框架与模型接口，环境配置成本较高

适用场景

  • 研究者评测不同大模型在复杂功能开发任务上的能力差异
  • 智能体框架开发者在迭代中做回归评测，定位能力短板
  • 企业技术选型时横向对比编码智能体的真实工程表现

替代项目

SWE-bench、HumanEval、RepoBench

上一篇：hawk

下一篇：没有了！

同类项目推荐

Robust-U1 开源

让多模态模型自己修复坏图，理解不翻车

[ICML 2026] Official Implementation of Robust-U1: Can MLLMs Self-Recover Corrupted V···

★ 355 2026-08-09
parea-sdk-py 开源

一站式搞定 LLM 应用的测试、评估与监控

Python SDK for experimenting, testing, evaluating & monitoring LLM-powered applicati···

★ 82 2026-08-09
rizzo-pii 开源

本地脱敏文档，再放心喂给 LLM

Local-first privacy guard: anonymize your documents before sharing with LLMs.

★ 1245 2026-09-28
agentevals 开源

用追踪数据评估智能体，无需绑定框架

agentevals is a framework-agnostic evaluations solution based on OpenTelemetry trace···

★ 168 2026-08-10
factcircuit 开源

给 AI 事实核查装上可审计的证据链和可复现评测

FactCircuit: an auditable claim-and-evidence verification loop with immutable proven···

★ 926 2026-10-04
encord-active 开源

用主动学习挑出最有价值的标注数据，让模型迭代更快更省

The toolkit to test, validate, and evaluate your models and surface, curate, and pri···

★ 460 2026-08-09
inseq 开源

一键透视生成模型，看透每个 token 的决策依据

Interpretability for sequence generation models

★ 477 2026-08-09
Machine_Learning_CTF_Challenges 开源

实战演练AI攻防，用CTF挑战掌握模型攻击与LLM漏洞利用

Hack AI/ML applications — CTF challenges for model attacks, LLMs and AI Agent explo···

★ 277 2026-08-09