项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-10 · 当前星标 ★ 6507
使用教程
⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。
⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。
环境要求
- 能正常访问 GitHub（https://github.com/jeinlee1991/chinese-llm-benchmark）
- 能访问官网 https://nonelinear.com 查看在线排行榜
- 本机安装 git（仅在需要把仓库克隆到本地时使用）
- 可访问 arXiv 阅读技术报告（可选）
安装与启动步骤
-
1打开官网看榜单
直接在浏览器访问 nonelinear.com，查看 ReLE 最新排行榜，无需安装任何软件。
-
2浏览 GitHub 仓库
打开项目主页，阅读 README 了解评测领域划分、排行榜分类与最近更新。
-
3克隆仓库到本地
若想在本地查看 README、榜单说明等文件，可用 git 把仓库克隆下来。
git clone https://github.com/jeinlee1991/chinese-llm-benchmark.git -
4阅读技术报告
README 给出 ReLE 论文链接，可了解评测系统设计与300个细分维度的定义。
-
5申请免费评测
README 注明可为私有大模型提供免费评测，需按仓库说明联系非线智能团队。
如何确认成功
浏览器能打开 nonelinear.com 并看到 ReLE 排行榜（多模态、综合、教育等分类表格），即表示可用。
常见问题
Q：这个项目需要本地部署模型才能用吗？
A：不需要。ReLE 是评测与排行榜项目，README 未提供本地部署说明，直接看官网排行榜即可，仅克隆仓库属于可选的查看方式。
Q：怎么让自己的私有大模型参加评测？
A：README 写明为非线智能 ReLE benchmark 团队提供免费评测服务，需按仓库中的“联系我们”说明添加团队微信沟通。
Q：超200万的大模型缺陷库怎么获取？
A：README 只说明提供该缺陷库，未给出具体下载地址或接口，可通过官网或联系团队咨询获取方式。
Q：排行榜包含哪些模型和领域？
A：README 称已囊括398个大模型，覆盖教育、医疗与心理健康、金融、法律与行政公务、推理与数学计算、语言与指令遵从、agent与工具调用等7个领域。
Q：榜单数据多久更新一次？
A：README 标注为“持续更新”的实时评测项目，具体更新频率未在节选中说明，建议以官网显示的最新数据为准。
注意事项
- README 节选中没有安装、配置或运行命令，本教程步骤均为查看与获取类操作，未包含任何未验证的部署指令。
- 项目主体是评测结果与排行榜，不是可直接安装运行的软件包，请勿臆造 pip/npm 安装命令。
- 引用的模型数量、维度数量等数据随版本更新会变化，请以仓库和官网最新内容为准。
核心亮点
- 覆盖374个模型，商用开源一网打尽，选型参考价值高
- 200万+缺陷库，直接定位模型弱点，便于针对性优化
- 持续更新，紧跟最新模型发布，时效性强
不足之处
- 评测标准和方法论公开程度有限，难以复现验证
- 文档/社区待观察
适用场景
- 企业选型：对比中文能力，挑选合适大模型
- 模型改进：利用缺陷库分析常见错误，优化训练
- 学术研究：跟踪中文大模型能力演进趋势
替代项目
OpenCompass、C-Eval、SuperCLUE
同类项目推荐
trustmebro
开源
伪造工具输出，测出模型护栏会不会被骗
Bypass llm guardrails by confusing it with fabricated tool output.
ClassEval
开源
测大模型写类的能力，比单函数更接近真实编程
Benchmark ClassEval for class-level code generation.
Tracekit
开源
给 AI Agent 装行车记录仪，每步可查、篡改可发现
Tamper-evident tracing, policy gates and cross-checks for AI agents: see what the ag···
llm-eval
开源
一站式跑分，快速对比大模型与 RAG 效果
大语言模型评估平台，支持多种评估基准、自定义数据集和性能测试。支持基于自定义数据集的···
robustness-foundation-models
开源
动手复现大模型鲁棒性实验，看清AI脆弱点
This repository holds code and other relevant files for the NeurIPS 2022 tutorial: F···
TAB
开源
统一评测时间序列异常检测方法，公平对比选最优
[PVLDB 2025] TAB: Unified Benchmarking of Time Series Anomaly Detection Methods
awesome-hallucination-detection
开源
大模型幻觉检测论文一网打尽，快速入门不迷路
List of papers on hallucination detection in LLMs.
appworld
开源
在真实模拟世界里，测试你的 AI 智能体会不会办事。
AppWorld: A Controllable World of Apps and People for Benchmarking Function Calling ···
empirical
开源
用数据说话，系统化测试评估你的 LLM 应用
Test and evaluate LLMs and model configurations, across all the scenarios that matte···