parea-sdk-py

一站式搞定 LLM 应用的测试、评估与监控

Parea AI 是一个面向 LLM 应用的开发工具链，提供 Python SDK 来支持实验、测试、评估和监控。它解决的是 LLM 应用开发中缺乏系统化测试与观测的问题，核心能力包括：快速创建和比较 prompt 变体、自动化评估输出质量、记录和追踪调用日志、以及提供可视化仪表盘。通过集成主流 LLM 提供商和框架，开发者可以无缝接入现有工作流，提升应用可靠性和迭代效率。

开源 unknown 基础设施
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 82
维护状态 低维护
是否开源 是
定价模式 unknown

项目数据

分类基础设施
开发团队parea-ai
所属国家
官网地址https://docs.parea.ai/sdk/python
GitHubhttps://github.com/parea-ai/parea-sdk-py
定价模式unknown
价格说明定价信息待确认
访问状态
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型generative-ai,good-first-issue,llm,llm-eval,llm-evaluation,llm-evaluation-framework,llm-evaluation-toolkit,llm-tools,llmops,llms-benchmarking,metrics,prompt-engineering
GitHub 星标★ 82
30天Star增速
HF 下载量
上线时间2023-07-24 00:00:00
最近更新2026-08-03 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数11

使用教程

核心亮点

  • 内置多种评估指标（如准确性、相关性），支持自定义评估函数
  • 提供可视化仪表盘，方便追踪调用链和调试 prompt
  • 与主流 LLM 框架（如 LangChain、OpenAI）深度集成，接入成本低

不足之处

  • 项目早期，文档和社区生态尚不完善
  • 功能偏向评估与监控，对 prompt 工程本身的辅助有限

适用场景

  • LLM 应用开发中的 prompt 调优与回归测试
  • 生产环境下的调用监控与质量评估
  • 团队协作时的评估结果共享与对比

替代项目

LangSmith、Weights & Biases、PromptLayer

项目介绍

parea-sdk-py 是评测安全领域的开源项目，由 parea-ai 开发，2023 年首次发布。

它收录于评测安全分类，该分类目前共有 458 个项目，GitHub 星标数为 82。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-08-03。

它主要面向的使用场景是：LLM应用开发中的prompt调优与回归测试。同类可对比的替代方案包括 LangSmith、Weights & Biases、PromptLayer。

上一篇：awesome-ai-safety

下一篇：raga-llm-hub

同类项目推荐

akto 开源

给 AI 应用做安全体检，防提示注入和数据泄露

Akto is the fastest growing AI Security platform for your teams to secure AI agents,···

★ 1517 2026-08-20
XSafeClaw 开源

给 AI 智能体装上安全盾，自动红队测试找漏洞

Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University

★ 164 2026-08-10
deepteam 开源

自动模拟越狱攻击，提前测出 LLM 安全漏洞

DeepTeam is a framework to red team LLMs and AI agents.

★ 2937 2026-09-12
Tracely-ai 开源

把生产事故变成回归测试，合并前自动拦截 AI 故障

Trace-native CI/CD for AI agents — production failures become regression tests that···

★ 1362 2026-08-24