项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 179
技术标签
核心亮点
- 提出用LLM作为自动化评估器的新范式，减少人工成本
- 支持多种评估协议，可灵活适配不同评测任务
- 提供了训练代码和数据集构建方法，便于复现和定制
不足之处
- 项目处于早期，文档和社区支持尚不完善
- 评估器的准确性依赖训练数据质量，泛化性待验证
适用场景
- 大模型基准测试中的自动评分
- 生成式任务（如摘要、对话）的质量评估
- 需要快速、低成本评估模型输出的研发场景
替代项目
Prometheus、LLM-as-a-Judge、MT-Bench
同类项目推荐
S-Eval
开源
一键自动化评估大模型安全，覆盖多风险场景
S-Eval: Towards Automated and Comprehensive Safety Evaluation for Large Language Mod···
ClawdSecbot
开源
给 AI Bot 装上实时安全盾牌，防注入、防攻击、可审计。
ClawdSecbot is a professional AI Bot security protection solution, providing securit···
ps-fuzz
开源
自动模糊测试系统提示词，找出越狱漏洞并加固
Make your GenAI Apps Safe & Secure :rocket: Test & harden your system prompt
CipherChat
开源
用密码绕过安全护栏，测出大模型隐藏漏洞
A framework to evaluate the generalization capability of safety alignment for LLMs
model-community
开源
安全模型开箱即用，Notebook 跑通内容审核评测
Making open safety AI models accessible and beneficial to the safety community
gpt6-Astra
开源
一个工作台集中测试各大模型的越狱与安全边界
gpt6 Astra-claude-grok4.7-deepseekv4.1flash-glm5.3-gemini破甲越狱 · 冷咖啡 BREAK//O···
convex-evals
开源
给 Convex 后端做功能与安全体检，部署前拦住越权和逻辑错。
pii-guardrail-browser-extension
开源
粘贴前自动抹掉敏感信息，放心用 AI 对话
Privacy Guardrail is a local-first Chrome extension that detects and anonymizes PII ···
ai-evals
开源
用 Ruby 脚本跑 AI 模型评测，选型对比有据可依
Evals and benchmarks for AI models