项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 519
使用教程
环境要求
- Python 3.9+
- 已有检索管线
- 模型凭据
安装与启动步骤
-
1装包
一条 pip 装完。
python3 -m pip install continuous-eval -
2接你的检索管线
把检索与生成的中间结果按它的格式导出。
-
3选一组指标
检索质量与生成质量分开评，别混成一个分数。
-
4建基线再迭代
没有基线就看不出改动是变好还是变坏。
-
5接进日常流程
每次改动跑一次，比季度大扫除有效。
如何确认成功
用同一批问题跑出检索与生成两组分数，换一版切块策略后分数变化能明确归因
注意事项
- 它做的是检索增强系统的持续评测，重点是能定位到具体环节而不是给个总分。
- 检索与生成必须分开评，混在一起无法归因。
- 部分指标依赖模型打分，需要凭据。
- 先建基线，否则改动没有可比性。
核心亮点
- 内置丰富的评估指标，覆盖 RAG 各环节，开箱即用
- 支持自定义评估逻辑，灵活适配业务场景
- 提供数据回归测试，便于在迭代中追踪性能变化
不足之处
- 项目处于早期阶段，文档和社区支持可能不够完善
- 评估指标的有效性需要结合具体场景验证，存在局限性
适用场景
- RAG 应用开发中的检索质量评估
- LLM 应用上线前的自动化回归测试
- 对比不同 Prompt 或模型版本的性能表现
替代项目
RAGAS、LangSmith、Promptfoo
上一篇：beir
同类项目推荐
watchtower
开源
用 LLM 编排本地网站渗透测试，自动出报告
Watchtower - AI-powered penetration testing automation CLI tool that leverages LLMs ···
Static-to-Dynamic-LLMEval
开源
动态生成评测样本，防数据污染，测出模型真实力
The official GitHub repository of the paper "Recent advances in large language model···
AutomationBench
开源
测测你的AI智能体，能不能搞定真实业务流程
A benchmark for evaluating AI agents on realistic business workflows
skill-scanner
开源
给 Agent 技能做安全体检，上线前扫出提示注入和越权风险
Security Scanner for Agent Skills
ASTRA
开源
实战对抗攻击，一键测出 AI 模型的安全漏洞
Amazon Nova AI Challenge Winner - ASTRA emerged victorious as the top attacking team···
benchmarks
开源
跑分选型，用数据说话，避免MLOps工具踩坑。
️ Performance Comparison of MLOps Engines, Frameworks, and Languages on Mainstream ···
reins
开源
给 AI Agent 加护栏，只做你授权的事
Stop AI agents from doing things you didn't ask for.
guardrail
开源
用 GPT 快速做情感分析和内容审核
GuardRail: Advanced tool for data analysis and AI content generation using OpenAI GP···
VLABench
开源
一站式公平评测VLA与具身智能模型，让模型实力一目了然
A large-scale benchmark for evaluating vision-language-action models, embodied agent···