项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-10-23 · 当前星标 ★ 114
核心亮点
- 提供2186名标注者的人工评分，规模在中文LLM评测数据中较突出
- 覆盖17个类别共453题，题目维度较广，可用于多能力对比
- 有AAAI 2024论文背书，评测方法有学术依据，便于引用和复现
不足之处
- 仅114星标，社区活跃度和后续维护情况有待观察
- 数据集规模相对有限（453题），难以覆盖长尾能力评估
适用场景
- 研究者对比多个中文大模型回答质量
- 构建中文LLM人工偏好评测基准
- 教学或论文中复现中文模型评测实验
替代项目
C-Eval、CMMLU
上一篇：ASSERT
下一篇：auto_LiRPA
同类项目推荐
KnowledgeEditingPapers
开源
一榜在手，快速掌握大模型知识编辑前沿论文
Must-read Papers on Knowledge Editing for Large Language Models.
langfair
开源
给LLM做公平性体检，防偏见翻车
LangFair is a Python library for conducting use-case level LLM bias and fairness ass···
Lookback-Lens
开源
只看注意力图，就能揪出并压制模型胡编乱造
Code for the EMNLP 2024 paper "Detecting and Mitigating Contextual Hallucinations in···
Tracely
开源
把生产事故变成 CI 回归测试，自动拦截坏 PR
Trace-native CI/CD for AI agents — production failures become regression tests that···
OpenJudge
开源
给AI智能体当裁判，量化每一步质量，训练更靠谱的Agent。
OpenJudge: A Unified Framework for Holistic Evaluation and Quality Rewards
vitest-evals
开源
用 Vitest 写 LLM 评测，像跑单测一样跑模型回归
A vitest extension for running evals.
empirical
开源
用数据说话，系统化测试评估你的 LLM 应用
Test and evaluate LLMs and model configurations, across all the scenarios that matte···
evals
开源
用真实 React Native 任务，测出 AI 编码真本事。
A benchmark suite for evaluating how coding models solve real React Native tasks.
frontier-evals
开源
用统一标准跑分，快速对比前沿模型真实能力
OpenAI Frontier Evals