RagaAI-Catalyst

让多智能体 AI 应用运行透明,调试像看回放一样简单

RagaAI-Catalyst 是一个面向 Agent AI 的可观测性、监控与评估框架,以 Python SDK 为核心,帮助开发者深入理解、调试和优化基于大语言模型(LLM)的多智能体系统。它解决了 AI 应用在生产环境中“黑盒”运行、难以追踪和评估的问题,提供了从底层 LLM 调用、工具执行到高层多智能体协作的完整追踪能力。核心能力包括:端到端追踪(agent、LLM、tools)、多智能体系统调试、自托管可视化仪表盘,以及带有时间线和执行图的高级分析。通过该框架,开发者可以实时监控 AI 应用的运行状态,定位性能瓶颈和逻辑错误,并基于执行轨迹进行系统评估,从而提升 AI 应用的可靠性、安全性和效率。它特别适用于复杂多智能体架构的开发和运维场景。

开源 free 基础设施
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 16164
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类基础设施
开发团队raga-ai-hub
所属国家
定价模式free
价格说明开源项目,Apache-2.0 许可证,可免费自托管部署,无付费版本。
访问状态
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型agentic-ai,agentic-ai-development,agentneo,agents,ai-agent-monitoring,ai-application-debugging,ai-evaluation-tools,ai-performance-optimization,ai-tool-interaction-monitoring,llm-testing,llm-tracing,llmops
GitHub 星标★ 16164
30天Star增速
HF 下载量
上线时间2024-08-26 00:00:00
最近更新2026-09-22 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数4

使用教程

难度:入门 约 10 分钟 部署方式:库/依赖 3 步

环境要求

  • Python 环境与 pip(README 未指定具体版本)
  • 已注册 RagaAI Catalyst 账号,用于生成 access key 与 secret key
  • 可访问所填 base_url 对应服务的网络环境

安装与启动步骤

  1. 1安装 SDK

    使用 pip 从 PyPI 安装 ragaai-catalyst,建议在独立虚拟环境中执行,避免与其他项目依赖冲突。

    pip install ragaai-catalyst
  2. 2生成访问密钥

    登录 RagaAI Catalyst,进入个人资料设置,选择 Authenticate,点击 Generate New Key 生成 access key 和 secret key。

  3. 3传入凭证初始化

    通过环境变量或直接把 access_key、secret_key、base_url 传入 RagaAICatalyst 类完成认证初始化。

    from ragaai_catalyst import RagaAICatalyst
    
    catalyst = RagaAICatalyst(
        access_key="YOUR_ACCESS_KEY",
        secret_key="YOUR_SECRET_KEY",
        base_url="BASE_URL"
    )

关键配置

配置项必填说明示例
access_key是访问密钥,由控制台 Generate New Key 生成YOUR_ACCESS_KEY
secret_key是秘密密钥,与 access_key 同时生成YOUR_SECRET_KEY
base_url是服务基础地址,按实际部署环境填写BASE_URL

如何确认成功

RagaAICatalyst 实例化时未抛出认证异常,即表示凭证配置成功,可继续调用后续功能模块。

常见问题

Q:access key 和 secret key 在哪里获取?

A:登录后进入个人资料设置(profile settings),选择 Authenticate,点击 Generate New Key 即可生成新的访问密钥与秘密密钥。

Q:凭证必须通过参数传入吗?

A:不是。README 说明既可以使用环境变量设置,也可以直接传给 RagaAICatalyst 类构造函数,两种方式任选其一即可。

Q:不认证可以直接使用各功能吗?

A:不可以。README 明确指出,认证是执行后续所有操作的必要前提。

注意事项

  • README 未给出 Python 最低版本要求,建议使用较新的稳定版本。
  • access_key 与 secret_key 属于敏感信息,不要硬编码后提交到代码仓库。
  • base_url 请按控制台实际提供的地址填写,不要照抄示例占位值。

核心亮点

  • 提供 agent、LLM、工具调用的全链路追踪,执行图和时间线让调试直观高效
  • 支持自托管仪表盘,数据不出内网,满足企业隐私和合规要求
  • 专为多智能体系统设计,能清晰展示智能体间协作与依赖关系

不足之处

  • 文档和社区生态相对较新,深度使用可能需自行探索
  • 高级分析功能可能依赖特定数据格式,集成成本待观察

适用场景

  • 生产环境多智能体 AI 应用的实时监控与故障排查
  • 开发阶段对 LLM 应用进行性能评估和回归测试
  • 企业内部需要数据隐私保护的 AI 应用可观测性平台建设

替代项目

Langfuse、LangSmith、Arize Phoenix

项目介绍

RagaAI-Catalyst 是评测安全领域的开源项目,由 raga-ai-hub 开发,2024 年首次发布。

在全站 13,014 个收录项目中,它的 GitHub 星标数(16,164)位列前 3%,在评测安全分类的 458 个项目里位列前 2%。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-09-22。Apache-2.0 许可证,可免费自托管部署,无付费版本。

它主要面向的使用场景是:生产环境多智能体AI应用的实时监控与故障排查。同类可对比的替代方案包括 Langfuse、LangSmith、Arize Phoenix。

上一篇:litmus

下一篇:llm-leaderboard

同类项目推荐

akto 开源

给 AI 应用做安全体检,防提示注入和数据泄露

Akto is the fastest growing AI Security platform for your teams to secure AI agents,···

★ 1517 2026-08-20
XSafeClaw 开源

给 AI 智能体装上安全盾,自动红队测试找漏洞

Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University

★ 164 2026-08-10
deepteam 开源

自动模拟越狱攻击,提前测出 LLM 安全漏洞

DeepTeam is a framework to red team LLMs and AI agents.

★ 2937 2026-09-12
Tracely-ai 开源

把生产事故变成回归测试,合并前自动拦截 AI 故障

Trace-native CI/CD for AI agents — production failures become regression tests that···

★ 1362 2026-08-24