overmind

追踪+评测+微调,让 Agent 越用越准

开源 🏷️定价信息待确认 ⚠️ 链接可跳转,访问体验不确定 评测安全 🍴 复刻 76 🐛 待处理 6 👀 关注 1
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 769
维护状态 活跃
是否开源 开源
定价模式 🏷️定价信息待确认

项目预览

overmind 项目界面预览图
图片来源:项目官网

项目数据

分类评测安全
开发团队overmind-core
定价模式🏷️定价信息待确认
价格说明定价信息待确认
访问状态⚠️ 链接可跳转,访问体验不确定
是否开源是
开源协议AGPL-3.0
主要语言Python
技术栈/模型ai-agents,evals,fine-tuning,llm,llm-evaluation,llmops,lora,mcp,observability,python
GitHub 星标★ 769
上线时间2026-03-27 00:00:00
代码更新2026-11-20
仓库体积13.5 MB
本站数据更新2026-11-21
维护状态活跃
收录时间2026-10-07
浏览次数3

项目介绍

Overmind 是一个面向 AI Agent 的持续改进平台,核心目标是解决 Agent 上线后效果难以量化、迭代缺乏依据的问题。它把评测(evals)、可观测性(observability)和微调(fine-tuning)串成一条闭环:先通过追踪与日志采集 Agent 在真实任务中的执行轨迹,再用内置评测框架对输出质量、工具调用正确性等维度打分,定位失败案例,最后支持基于 LoRA 的微调来针对性提升模型表现。项目还提供 MCP 相关集成,方便接入外部工具与数据源。整体定位偏 LLMOps,适合需要把 Agent 从 Demo 推进到生产、并持续做质量回归的团队。Python 实现,可自托管,当前处于早期阶段。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-07 · 当前星标 ★ 769

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:进阶 约 45 分钟 部署方式:本地安装 4 步

环境要求

  • Docker
  • Python 3.10+

安装与启动步骤

  1. 1克隆

    先拉代码。

    git clone https://github.com/overmind-core/overmind.git && cd overmind
  2. 2起依赖

    数据库与队列用 compose 起。

    docker compose up -d
  3. 3装 SDK

    客户端走 pip。

    pip install "overmind[tracing]"
  4. 4接入

    按文档把任务提交给平台。

    # 用 SDK 提交一个任务

如何确认成功

compose 里各服务健康,任务提交后能在控制台看到运行记录。

注意事项

  • SDK 与平台是不同许可,商用前分别确认。
  • 控制台端口固定,被占要先改映射。

核心亮点

  • 把可观测性、评测、微调打通成闭环,而非只做单点日志或单点评测
  • 支持基于真实执行轨迹定位失败案例,评测数据来自生产而非纯人工构造
  • 内置 LoRA 微调能力,评测发现问题后可直接进入优化环节

不足之处

  • 项目处于早期,462 星标,生态与文档成熟度有限
  • 自托管部署与评测流水线配置有一定门槛,小团队上手成本不低

适用场景

  • 生产环境 Agent 效果波动,需要定位是哪类任务或工具调用出错
  • 上线新版本前跑回归评测,防止 Prompt 或模型改动导致质量下降
  • 用真实用户交互数据做 LoRA 微调,针对性提升薄弱场景表现

替代项目

Langfuse、Braintrust、Arize Phoenix

上一篇:hypoarena

下一篇:RouterArena

同类项目推荐

cybergym-e2e 开源

用真实开源漏洞,端到端考 AI 找洞、写 PoC、打补丁

CyberGym-E2E is a large-scale benchmark built from real-world vulnerabilities in wid···

★ 109 2026-11-19
OpenRT 开源

一键对多模态大模型发起42+攻击,快速暴露安全漏洞

Open-source red teaming framework for MLLMs with 42+ attack methods

★ 282 2026-08-10
NOIR 开源

用 adb 给手机做隐私体检,看清 App 上报了什么

手机隐私审计:用 adb 扫出 Android 应用的权限、上报端点与数据流向,并给出可回滚的处置···

★ 3663 2026-11-04
SelfAware 开源

测出模型不知道自己不知道什么,减少胡编乱造

Do Large Language Models Know What They Don’t Know?

★ 107 2026-08-09
genai-bench 开源

token 级压测 LLM 服务,选型调优有据可依

Genai-bench is a powerful benchmark tool designed for comprehensive token-level perf···

★ 336 2026-10-23
DECEIVE 开源

让大模型替你扮演蜜罐,自动接住攻击者的话

DECeption with Evaluative Integrated Validation Engine (DECEIVE): Let an LLM do all ···

★ 296 2026-11-06
frouros 开源

实时监控模型漂移,提前预警性能下降

Frouros: an open-source Python library for drift detection in machine learning syste···

★ 261 2026-08-09
Tracely-ai 开源

把生产事故变成回归测试,合并前自动拦截 AI 故障

Trace-native CI/CD for AI agents — production failures become regression tests that···

★ 1122 2026-08-24