llm-evaluation 第 2 页

本站收录 84 个带「llm-evaluation」标签的 AI 开源项目（按 GitHub 星标从高到低，第 2 / 2 页）

UltraEval-AudioUltraEval-Audio 是一个面向音频领域的统一评测基准框架，旨在为 ASR（语音识别）、TTS（语音合成）、音频编解码器以及音频大语言模型提供标准化、★ 327dodoguardDodoGuard 是一个面向 AI Agent 全生命周期的开源安全防护工具，用 TypeScript 编写，主要解决 Dify、Coze、FastGPT、n★ 303athina-evalsathina-evals 是一个用于评估大语言模型（LLM）生成响应的 Python SDK。它解决了开发者在构建 LLM 应用时难以系统化、自动化评估输出质量★ 302benchmark-radarbenchmark-radar 是一个面向 AI 评测领域的数据聚合工具，它从 37 个公开来源持续抓取并整理超过 11,923 条与 AI benchmark★ 301OrcaReplayOrcaReplay 是一个面向 AI 智能体（Agent）的运行时录制与回放调试工具，核心理念是给 Agent 执行过程加上「时间旅行」能力。它能完整记录一次★ 286langfairLangFair 是一个用于大语言模型（LLM）偏见与公平性评估的 Python 库，专注于用例级别的评估。它解决了当前 LLM 应用中缺乏系统化、可操作公平性★ 261KADATHKADATH 是一个基于进化算法的多智能体运行时框架，旨在通过可复现的迭代周期来培育、评估并持续改进自主智能体，从而逐步逼近并优化预设目标。它解决了传统单一智能★ 258MixEvalMixEval 是一个大语言模型评估套件，提供动态更新的评测数据集和标准化评估流程。它解决传统静态基准测试因数据泄露和过拟合导致模型分数虚高的问题，通过混合多种★ 253OpenARTOpenART 是一个面向自主 AI 智能体（Agent）的开源安全评测框架，专注在动态、长周期、有状态的环境中检验智能体的安全性与鲁棒性。随着 Agent 能★ 249juliusJulius 是一个用 Go 编写的 LLM 服务识别工具，核心功能是把一个 IP:Port 快速翻译成具体的 AI 服务类型，例如 Ollama、vLLM、L★ 248myclaw-benchmyclaw-bench 是一个针对 OpenClaw 智能体的基准测试项目，由 MyClaw.ai 提供支持。它旨在解决 AI 智能体在真实任务中缺乏标准化评★ 222EvalForgeEvalForge 是一个面向 AI/LLM 应用的评测与质量门禁工具，用 Python 编写。它解决的核心问题是：团队在 CI 中评测模型或 RAG 系统时，★ 210LLMEvaluationLLMEvaluation 是一份面向大语言模型评测方法的系统性指南，以 HTML 文档形式组织，目标是帮助开发者、产品团队和研究者根据自身用例挑选最合适的评测★ 207ai-rulezai-rulez 是一个面向 AI 辅助开发的规则与配置生成工具，用 Go 编写。它解决的是开发者在不同 AI 编程工具（如 Claude、Cursor、Cop★ 163oss-llmops-stackoss-llmops-stack 是一个模块化的开源 LLMOps 技术栈，旨在将 LLM 应用开发中的不同关注点分离，解决工具碎片化和集成复杂的问题。它整合了★ 153benchmark这是一个面向浏览器智能体（browser agent）的开源评测基准项目，提供 BU Bench V2.1，包含 200 个真实网页任务，用于衡量 AI 智能体★ 152levaleva 是一个面向 Ruby on Rails 应用的 LLM 评测框架，主打用生产数据做评测。它解决的核心问题是：Rails 项目接入大模型后，很难系统化地★ 149every_eval_everEvery Eval Ever 是一个面向 AI 评测领域的共享元数据规范与众包评测数据库。它要解决的核心问题是：当前 AI 评测结果散落在各类排行榜、学术论文★ 137dxl-commerce-agentdxl-commerce-agent 是一个基于 OpenClaw 与大模型驱动的电商客服自动化系统，目标是把淘宝、拼多多、抖音、快手、小红书、视频号等主流电商★ 135agentic-rlagentic-rl 是一个面向中文零基础学习者的 Agentic RL 教程项目，共 25 章，从强化学习与智能体基础概念讲起，逐步过渡到 GRPO 实战，并★ 131suede-creator-skillssuede-creator-skills 是一个面向 Claude Code 和 Codex 的开源智能体技能库，提供 71 个预构建的 Agent Skill★ 128hallucination-index这是一个评估和排名主流大语言模型（LLM）幻觉倾向的开源项目。它针对常见的任务类型（如问答、摘要、代码生成等），系统性地测试不同模型产生幻觉（即生成与事实不符或★ 115raga-llm-hubraga-llm-hub 是一个用于大语言模型（LLM）评估、防护栏（guardrails）和安全的开源框架，基于 Python 构建。它旨在解决 LLM 应用★ 115autoarenaautoarena 是一个用于自动化评估和排名大语言模型（LLM）、RAG 系统及提示词（prompt）的开源工具。它通过自动化的两两对比（head-to-he★ 108FlownessFlowness 是一个以工作为中心（work-centered）的智能体软件工程运行时。它解决的核心问题是：在复杂的智能体工作流中，工作本身（如任务、数据、状★ 107jevalsjevals 是一个面向 AI Agent 的评测与护栏（guardrails）工具，核心思路是把每一次 Agent 调用建模为一次 Jev 决策：每个 tra★ 105contextcheckcontextcheck 是一个基于 MIT 许可的开源框架，用于测试大型语言模型（LLM）、检索增强生成（RAG）系统以及聊天机器人。它通过 YAML 文件进★ 98circle-guard-benchcircle-guard-bench 是首个专门评估大语言模型（LLM）防护系统（包括 guardrails 和 safeguards）能力的 AI 基准测试框★ 82parea-sdk-pyParea AI 是一个面向 LLM 应用的开发工具链，提供 Python SDK 来支持实验、测试、评估和监控。它解决的是 LLM 应用开发中缺乏系统化测试与★ 82Awesome-LLMs-ICLR-24Awesome-LLMs-ICLR-24 是一个专门整理 ICLR 2024 会议上所有大语言模型（LLM）相关论文的资源合集。它解决了研究者难以系统追踪顶级会★ 73aiml-companionAI-ML Companion 是一个交互式学习平台，旨在通过可视化方式帮助用户理解人工智能和机器学习。它包含22个学习轨道和300多个模块，提供实时可视化演示★ 72litmusLitmus 是一个面向生成式 AI 应用开发的 LLM 测试与评估平台。它通过友好的用户界面，帮助开发者系统化地构建和评估基于大语言模型的应用性能。项目解决了★ 52ai-eval-platform这是一个开源的 AI 应用评测平台，专注于解决 RAG、AI Agent、多轮对话等复杂场景的评估难题。它提供 LLM-as-Judge、接口评测、评测报告和人★ 14novel-architectnovel-architect 是一个面向中文长篇网络小说创作的 Agent 技能包，旨在解决 AI 辅助写作中常见的剧情失控、上下文丢失、质量参差不齐等问题。★ 3

相关标签

llm3432llmops233ai-agents1975evaluation104benchmark133ai2792llm-security74large-language-models1059rag1205python1570agent-evaluation22agentic-ai561