overmind

追踪+评测+微调，让 Agent 越用越准

Overmind 是一个面向 AI Agent 的持续改进平台，核心目标是解决 Agent 上线后效果难以量化、迭代缺乏依据的问题。它把评测（evals）、可观测性（observability）和微调（fine-tuning）串成一条闭环：先通过追踪与日志采集 Agent 在真实任务中的执行轨迹，再用内置评测框架对输出质量、工具调用正确性等维度打分，定位失败案例，最后支持基于 LoRA 的微调来针对性提升模型表现。项目还提供 MCP 相关集成，方便接入外部工具与数据源。整体定位偏 LLMOps，适合需要把 Agent 从 Demo 推进到生产、并持续做质量回归的团队。Python 实现，可自托管，当前处于早期阶段。

开源 unknown 评测安全

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 462

维护状态活跃

是否开源是

定价模式 unknown

项目预览

项目数据

分类评测安全

开发团队overmind-core

所属国家

官网地址https://overmindlab.ai

GitHubhttps://github.com/overmind-core/overmind

定价模式unknown

价格说明定价信息待确认

访问状态

是否开源是

开源协议AGPL-3.0

主要语言Python

技术栈/模型ai-agents,evals,fine-tuning,llm,llm-evaluation,llmops,lora,mcp,observability,python

GitHub 星标★ 462

30天Star增速

HF 下载量

上线时间2026-03-27 00:00:00

代码更新—

仓库体积—

本站数据更新—

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-10-07

浏览次数0

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

正在加载星标数据…

技术标签

使用教程

—

核心亮点

把可观测性、评测、微调打通成闭环，而非只做单点日志或单点评测
支持基于真实执行轨迹定位失败案例，评测数据来自生产而非纯人工构造
内置 LoRA 微调能力，评测发现问题后可直接进入优化环节

不足之处

项目处于早期，462 星标，生态与文档成熟度有限
自托管部署与评测流水线配置有一定门槛，小团队上手成本不低

适用场景

生产环境 Agent 效果波动，需要定位是哪类任务或工具调用出错
上线新版本前跑回归评测，防止 Prompt 或模型改动导致质量下降
用真实用户交互数据做 LoRA 微调，针对性提升薄弱场景表现

替代项目

Langfuse、Braintrust、Arize Phoenix

项目介绍

overmind 是评测安全领域的开源项目，由 overmind-core 开发，是 2026 年新上线的项目。

它收录于评测安全分类，该分类目前共有 498 个项目，GitHub 星标数为 462。

项目目前处于活跃维护状态，最近一次代码更新于 2026-10-06。

它主要面向的使用场景是：生产环境Agent效果波动，需要定位是哪类任务或工具调用出错。同类可对比的替代方案包括 Langfuse、Braintrust、Arize Phoenix。

上一篇：hypoarena

下一篇：RouterArena