continuous-eval 是评测安全领域的开源项目，由 relari-ai 开发，2023 年首次发布。
它收录于评测安全分类，该分类目前共有 458 个项目，GitHub 星标数为 517。
项目仍在小幅维护中，最近一次代码更新于 2026-08-31。Apache-2.0许可证，可免费使用和部署。
它主要面向的使用场景是：RAG应用开发中的检索质量评估。同类可对比的替代方案包括 RAGAS、LangSmith、Promptfoo。
continuous-eval
让 LLM 应用效果可量化，用数据驱动迭代优化
continuous-eval 是一个面向 LLM 应用的、数据驱动的评估工具。它解决的是 LLM 应用在开发迭代过程中缺乏客观、可量化评估标准的问题，帮助开发者从主观感觉转向基于数据的评测。其核心能力包括：提供多种预置的评估指标（如准确性、相关性、忠实度等），支持对 RAG（检索增强生成）流水线进行端到端评估，并允许用户自定义评估逻辑。该工具通过将评估结果与数据样本关联，支持回归测试和性能追踪，从而在持续集成/持续部署（CI/CD）流程中实现自动化的质量把关。它旨在成为 LLM 应用开发中连接测试与优化的桥梁，让模型改进有据可依。
开源
free
搜索知识
GitHub 星标
★ 517
维护状态
维护中
是否开源
是
定价模式
free
项目数据
分类搜索知识
开发团队relari-ai
所属国家
定价模式free
价格说明开源项目，Apache-2.0许可证，可免费使用和部署。
访问状态
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型evaluation-framework,evaluation-metrics,information-retrieval,llm-evaluation,llmops,rag,retrieval-augmented-generation
GitHub 星标★ 517
30天Star增速
HF 下载量
上线时间2023-12-08 00:00:00
最近更新2026-08-31 00:00:00
维护状态维护中
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数4
使用教程
核心亮点
- 内置丰富的评估指标，覆盖 RAG 各环节，开箱即用
- 支持自定义评估逻辑，灵活适配业务场景
- 提供数据回归测试，便于在迭代中追踪性能变化
不足之处
- 项目处于早期阶段，文档和社区支持可能不够完善
- 评估指标的有效性需要结合具体场景验证，存在局限性
适用场景
- RAG 应用开发中的检索质量评估
- LLM 应用上线前的自动化回归测试
- 对比不同 Prompt 或模型版本的性能表现
替代项目
RAGAS、LangSmith、Promptfoo
项目介绍
上一篇：beir
同类项目推荐
akto
开源
给 AI 应用做安全体检，防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
XSafeClaw
开源
给 AI 智能体装上安全盾，自动红队测试找漏洞
Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University
deepteam
开源
自动模拟越狱攻击，提前测出 LLM 安全漏洞
DeepTeam is a framework to red team LLMs and AI agents.
Tracely-ai
开源
把生产事故变成回归测试，合并前自动拦截 AI 故障
Trace-native CI/CD for AI agents — production failures become regression tests that···