parea-sdk-py

一站式搞定 LLM 应用的测试、评估与监控

开源 🏷️定价信息待确认 🔧 仅开源项目,无在线服务,需自行部署 基础设施 🍴 复刻 12 🐛 待处理 58 👀 关注 1
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 82
维护状态 低维护
是否开源 开源
定价模式 🏷️定价信息待确认

项目预览

parea-sdk-py 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类基础设施
开发团队parea-ai
定价模式🏷️定价信息待确认
价格说明定价信息待确认
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型generative-ai,good-first-issue,llm,llm-eval,llm-evaluation,llm-evaluation-framework,llm-evaluation-toolkit,llm-tools,llmops,llms-benchmarking,metrics,prompt-engineering
GitHub 星标★ 82
上线时间2023-07-24 00:00:00
代码更新2025-02-13
仓库体积5.6 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数12

项目介绍

Parea AI 是一个面向 LLM 应用的开发工具链,提供 Python SDK 来支持实验、测试、评估和监控。它解决的是 LLM 应用开发中缺乏系统化测试与观测的问题,核心能力包括:快速创建和比较 prompt 变体、自动化评估输出质量、记录和追踪调用日志、以及提供可视化仪表盘。通过集成主流 LLM 提供商和框架,开发者可以无缝接入现有工作流,提升应用可靠性和迭代效率。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 82

核心亮点

  • 内置多种评估指标(如准确性、相关性),支持自定义评估函数
  • 提供可视化仪表盘,方便追踪调用链和调试 prompt
  • 与主流 LLM 框架(如 LangChain、OpenAI)深度集成,接入成本低

不足之处

  • 项目早期,文档和社区生态尚不完善
  • 功能偏向评估与监控,对 prompt 工程本身的辅助有限

适用场景

  • LLM 应用开发中的 prompt 调优与回归测试
  • 生产环境下的调用监控与质量评估
  • 团队协作时的评估结果共享与对比

替代项目

LangSmith、Weights & Biases、PromptLayer

上一篇:awesome-ai-safety

下一篇:raga-llm-hub

同类项目推荐

model-community 开源

安全模型开箱即用,Notebook 跑通内容审核评测

Making open safety AI models accessible and beneficial to the safety community

★ 138 2026-10-10
ai-llm-comparison 开源

并排对比所有AI模型,快速选出最适合你的那个

A website where you can compare every AI Model ✨

★ 427 2026-08-09
leva 开源

用线上真实数据回放评测,让 Rails 的 LLM 改动不再靠拍脑袋

LLM Evaluation Framework for Rails apps to be used with production data.

★ 148 2026-09-25
LLM-Agent-Paper-List 开源

一键掌握LLM智能体领域核心论文,快速入门不迷路

The paper list of the 86-page SCIS cover paper "The Rise and Potential of Large Lang···

★ 8264 2026-08-09
Gym 开源

把模型丢进环境里跑,边评测边改进智能体

Evaluate and improve models and agents using environments

★ 1324 2026-09-16
raga-llm-hub 开源

一站式搞定 LLM 评估、防护与安全,让上线更放心

Framework for LLM evaluation, guardrails and security

★ 115 2026-08-09
inspect-robots 开源

一套接口,把任意 VLA 模型放到任意机器人上跑分

Open source evals for physical AI. Run any LLM/VLA on any arm/humanoid against any r···

★ 749 2026-09-14
jevals 开源

每条 trace 一次请求,几分钱延迟低到能进 Agent 循环

Agent evals and guardrails as Jev decisions: one request per trace, a fraction of a ···

★ 113 2026-10-03
VLMEvalKit 开源

一键评测 220+ 多模态模型,秒出对比报告

Open-source evaluation toolkit of large multi-modality models (LMMs), support 220+ L···

★ 4475 2026-08-09