leva
用线上真实数据回放评测，让 Rails 的 LLM 改动不再靠拍脑袋
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-25 · 当前星标 ★ 148
技术标签
核心亮点
- 专为 Rails 设计，能直接复用应用内的模型、服务和业务逻辑做评测，集成成本低
- 以生产数据为核心，评测样本来自真实用户请求，比人工构造的测试集更贴近实际分布
- 支持在开发或 CI 流程中回放对比，便于在提示词或模型变更时快速发现效果回退
不足之处
- 项目处于早期，星标约 147，生态与文档成熟度有限
- 仅面向 Ruby on Rails，非 Rails 技术栈无法直接使用
适用场景
- 上线前用线上真实对话样本回归测试新提示词，避免效果变差
- 在 CI 中对不同模型或参数配置做批量对比，量化选择更优方案
- 把用户反馈差的生产请求沉淀为评测集，持续跟踪修复效果
替代项目
promptfoo、DeepEval
上一篇：compute-eval
同类项目推荐
skill-scanner
开源
给 Agent 技能做安全体检，上线前扫出提示注入和越权风险
Security Scanner for Agent Skills
llm-coding-benchmark
开源
自动跑编码题，横向比出哪个大模型写代码更强
Simple benchmark to test the most popular open source and commercial LLMs with autom···
lm_understand-logs
开源
把神经网络权重当文本，让大模型读懂并生成
Complete logs of the experiments in the blog post 'LLMs can understand and write neu···
hallucination-index
开源
测出哪个AI最会胡说八道，选模型不再踩坑
Initiative to evaluate and rank the most popular LLMs across common task types based···
VLABench
开源
一站式公平评测VLA与具身智能模型，让模型实力一目了然
A large-scale benchmark for evaluating vision-language-action models, embodied agent···
pii-guardrail-browser-extension
开源
粘贴前自动抹掉敏感信息，放心用 AI 对话
Privacy Guardrail is a local-first Chrome extension that detects and anonymizes PII ···
dingo
开源
一键评测AI数据与模型质量，自动出报告
Dingo: A Comprehensive AI Data, Model and Application Quality Evaluation Tool
Veritensor
开源
扫描 AI 模型与数据，防投毒、防注入、防泄露
The Anti-Virus for AI Artifacts & RAG Firewall. A static analysis tool scanning Mode···
Awesome-LLM-Red-Teaming
开源
一站式收集 LLM 红队测试资源，快速上手安全攻防
A curated list of awesome LLM Red Teaming training, resources, and tools.