项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-10-07 · 当前星标 ★ 769
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- Docker
- Python 3.10+
安装与启动步骤
-
1克隆
先拉代码。
git clone https://github.com/overmind-core/overmind.git && cd overmind -
2起依赖
数据库与队列用 compose 起。
docker compose up -d -
3装 SDK
客户端走 pip。
pip install "overmind[tracing]" -
4接入
按文档把任务提交给平台。
# 用 SDK 提交一个任务
如何确认成功
compose 里各服务健康,任务提交后能在控制台看到运行记录。
注意事项
- SDK 与平台是不同许可,商用前分别确认。
- 控制台端口固定,被占要先改映射。
核心亮点
- 把可观测性、评测、微调打通成闭环,而非只做单点日志或单点评测
- 支持基于真实执行轨迹定位失败案例,评测数据来自生产而非纯人工构造
- 内置 LoRA 微调能力,评测发现问题后可直接进入优化环节
不足之处
- 项目处于早期,462 星标,生态与文档成熟度有限
- 自托管部署与评测流水线配置有一定门槛,小团队上手成本不低
适用场景
- 生产环境 Agent 效果波动,需要定位是哪类任务或工具调用出错
- 上线新版本前跑回归评测,防止 Prompt 或模型改动导致质量下降
- 用真实用户交互数据做 LoRA 微调,针对性提升薄弱场景表现
替代项目
Langfuse、Braintrust、Arize Phoenix
上一篇:hypoarena
下一篇:RouterArena
同类项目推荐
cybergym-e2e
开源
用真实开源漏洞,端到端考 AI 找洞、写 PoC、打补丁
CyberGym-E2E is a large-scale benchmark built from real-world vulnerabilities in wid···
OpenRT
开源
一键对多模态大模型发起42+攻击,快速暴露安全漏洞
Open-source red teaming framework for MLLMs with 42+ attack methods
NOIR
开源
用 adb 给手机做隐私体检,看清 App 上报了什么
手机隐私审计:用 adb 扫出 Android 应用的权限、上报端点与数据流向,并给出可回滚的处置···
SelfAware
开源
测出模型不知道自己不知道什么,减少胡编乱造
Do Large Language Models Know What They Don’t Know?
genai-bench
开源
token 级压测 LLM 服务,选型调优有据可依
Genai-bench is a powerful benchmark tool designed for comprehensive token-level perf···
awesome-ai-agents-security
开源
一张地图看懂AI代理安全生态,快速找到关键资源
A living map of the AI agent security ecosystem.
DECEIVE
开源
让大模型替你扮演蜜罐,自动接住攻击者的话
DECeption with Evaluative Integrated Validation Engine (DECEIVE): Let an LLM do all ···
frouros
开源
实时监控模型漂移,提前预警性能下降
Frouros: an open-source Python library for drift detection in machine learning syste···
Tracely-ai
开源
把生产事故变成回归测试,合并前自动拦截 AI 故障
Trace-native CI/CD for AI agents — production failures become regression tests that···
