contextcheck

用 YAML 配置测试用例，把 LLM 测试塞进 CI 流水线，自动跑完收工。

contextcheck 是一个基于 MIT 许可的开源框架，用于测试大型语言模型（LLM）、检索增强生成（RAG）系统以及聊天机器人。它通过 YAML 文件进行灵活配置，能够定义测试用例、预期行为以及评估指标，并支持集成到 CI 流水线中，实现自动化测试。该框架旨在帮助开发者在部署前验证模型输出的准确性、安全性和一致性，解决 LLM 应用测试难、评估标准不统一的问题。其核心能力包括：结构化测试用例管理、可定制的评估逻辑、与现有开发流程的无缝对接，以及清晰的测试报告输出。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 97

维护状态低维护

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队Addepto

所属国家

官网地址https://addepto.com

GitHubhttps://github.com/Addepto/contextcheck

定价模式free

价格说明MIT 许可证，完全免费开源，可自行部署使用。

访问状态

是否开源是

开源协议MIT

主要语言Python

技术栈/模型ai-chat,ai-testing,ai-testing-tool,chatbot-framework,chatbot-testing,ci,generative-ai-testing,large-language-models,llm,llm-evaluation,llm-evaluation-framework,llm-testing,open-source,prompt-test,rag,rag-testing,summarization-testing,testing-framework,testing-tools

GitHub 星标★ 97

30天Star增速

HF 下载量

上线时间2024-10-30 00:00:00

最近更新2026-08-31 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数2

使用教程

核心亮点

YAML 配置测试用例，无需写代码即可定义复杂测试场景，上手门槛低。
专为 CI 设计，可无缝集成到 GitHub Actions 等流水线，实现每次提交自动回归测试。
支持 LLM、RAG、聊天机器人多种类型，覆盖主流 AI 应用测试需求。

不足之处

项目处于早期阶段，文档和社区生态尚待完善。
测试评估的准确性和可靠性依赖底层模型，可能受模型波动影响。

适用场景

在 CI 流水线中自动检测 LLM 回答的准确性和安全性，防止回归。
针对 RAG 系统，验证检索内容与生成答案的一致性，确保引用正确。
对聊天机器人进行多轮对话测试，检查上下文理解和响应质量。

替代项目

Promptfoo、DeepEval、Ragas

项目介绍

contextcheck 是评测安全领域的开源项目，由 Addepto 开发，2024 年首次发布。

它收录于评测安全分类，该分类目前共有 458 个项目，GitHub 星标数为 97。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-08-31。MIT 许可证，完全免费开源，可自行部署使用。

它主要面向的使用场景是：在CI流水线中自动检测LLM回答的准确性和安全性，防止回归。同类可对比的替代方案包括 Promptfoo、DeepEval、Ragas。

上一篇：AttackVLM

下一篇：LLM-for-misinformation-research