llm-as-a-judge

本站收录 10 个带「llm-as-a-judge」标签的 AI 开源项目

oumioumi 是一个专注于开源大语言模型(LLM)微调、评估和部署的全流程工具包。它旨在简化从模型选择到生产部署的复杂流程,支持 Qwen、Gemma、Llama ★ 9,437prometheus-evalPrometheus-Eval 是一个用于评估大语言模型(LLM)回复质量的工具,基于 Prometheus 模型和 GPT-4 作为评判标准。它解决了 LLM★ 1,124dingoDingo 是一个面向 AI 数据、模型与应用的质量评测工具,用 Python 编写。它要解决的问题是:大模型项目里数据质量参差不齐、模型输出难以量化评估,团队★ 771FlideFlide 是一个面向决策模型的极速推理引擎,用 Python 编写,主打确定性推理与低延迟。它针对决策类场景(如规则判断、策略选择、智能体决策)优化推理路径,★ 543xFinderxFinder是一个用于大语言模型评估的自动化评测框架,核心思路是让LLM本身充当评估器,以替代传统的人工评估或基于规则的方法。它解决了LLM输出评估中可靠性不★ 179uaefUAEF(Universal Agent Evaluation Framework)是一个与框架无关的 AI Agent 评测系统,目标是解决 Agent 上线★ 177xVerifyxVerify 是一个面向推理模型的高效答案验证器,专门用于评估 LLM 在数学等推理任务上的表现。它解决的是传统评估中依赖人工或大型 judge 模型成本高、★ 152reforge-ai-evalsreforge-ai-evals 是来自 Calibre 的 Reforge AI Evals 课程的开源评测工具包,核心形态是一组面向 AI 编码代理的 sk★ 102circle-guard-benchcircle-guard-bench 是首个专门评估大语言模型(LLM)防护系统(包括 guardrails 和 safeguards)能力的 AI 基准测试框★ 81LLM-IR-Bias-Fairness-Survey本项目是《大语言模型在信息检索中的偏见与公平性》综述的配套资源库,系统梳理了LLM应用于搜索、推荐、问答等IR任务时出现的各类偏见问题(如排序偏见、内容偏见、群★ 64