llm-as-judge
本站收录 10 个带「llm-as-judge」标签的 AI 开源项目
TracelyTracely 是一个面向 AI 智能体的原生 CI/CD 工具，旨在解决 LLM 应用在生产环境中失败后难以复现和回归测试的问题。它能自动检测生产环境中的 A★ 1,311
Tracely-aiTracely-ai 是一个面向 AI 代理（agent）的 CI/CD 原生可观测与评测工具，旨在解决 AI 应用在生产环境中出现故障后难以复现和回归测试的问★ 1,311
nautilus-compassnautilus-compass 是一个面向多智能体协作的可靠性中间层，核心目标是让多个 Agent 在没有中心化编排器（orchestrator）的情况下依然★ 1,256
ai-engineer-notebooks这是一个面向AI工程师和前沿部署工程师（FDE）的实战型Jupyter Notebook合集，完全基于免费Groq API运行，无需框架依赖。项目覆盖了从模型A★ 740
pairjudgepairjudge 是一个面向成对 LLM 评判（A/B/tie）的开源工具包，源自 Kaggle LMSYS Chatbot Arena 第四名（金牌）方案并★ 170
agentevalsagentevals 是一个与框架无关的 LLM 智能体评估解决方案，它基于 OpenTelemetry 追踪数据来工作。该项目解决的核心问题是：在复杂的智能体★ 169
issue-ragissue-rag 是一个面向 GitHub issue 的检索增强生成（RAG）实验项目，目标是把仓库里零散的 issue 讨论变成可检索、可问答的知识库，帮★ 129
PaperBotPaperBot 是一个面向学术研究者的个人 AI 基础设施，旨在解决文献检索、阅读和知识管理中的信息过载问题。它通过 Python 构建，提供了一套工具链，帮★ 108
lumenLumen 是一个以学习者为中心的 AI 教育平台，旨在解决传统在线课程内容固定、缺乏个性化的问题。用户只需告诉 AI 想学什么，它能在约一分钟内生成一个专属的★ 92
ai-eval-platform这是一个开源的 AI 应用评测平台，专注于解决 RAG、AI Agent、多轮对话等复杂场景的评估难题。它提供 LLM-as-Judge、接口评测、评测报告和人★ 17