AlignBench
测中文大模型对齐能力，多维打分看清模型强弱
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 433
使用教程
环境要求
- Python 3.9+
- 两个模型 API Key
安装与启动步骤
-
1拉仓库装依赖
中文大模型评测基准，含题库与评分脚本。
-
2先跑生成答案
接一个模型把答案批量生成出来。
python get_answers.py -
3再跑评分
评分用强模型做裁判，要单独的 key。
python judge.py -
4出结果表
最后一步汇总成分维度得分。
python show_result.py
如何确认成功
能产出分维度得分表，且换一个模型后各维度排序发生变化而不是分数雷同
注意事项
- 它是评测基准，评分靠强模型当裁判，成本不低。
- 裁判模型有偏好，同答案换裁判分数会变。
- 题库公开意味着可能已被训练数据污染，看结论要小心。
- 分维度比总分有信息量，别只看排名。
核心亮点
- 专为中文设计，覆盖8大能力维度，评测更贴合中文场景
- 采用模型辅助多维度评分，比传统指标更能反映回答质量
- 数据由专家精心构建，题目具有代表性和挑战性
不足之处
- 评测依赖GPT-4等外部模型，成本较高且可能引入偏差
- 数据集规模相对较小，覆盖场景有限
- 文档/社区待观察
适用场景
- 中文大模型开发时的对齐能力评估与迭代改进
- 对比不同中文大模型（如ChatGLM、文心一言）的综合性能
- 学术研究中分析模型在中文任务上的对齐缺陷
替代项目
C-Eval、SuperCLUE、MMLU
上一篇：xVerify
同类项目推荐
dsh-auto-review
开源
给DeepSeek审批加道AI安全锁，自动审查敏感操作
Second-model AI auto-review for DeepSeek Harness approval requests: a read-only revi···
llm-colosseum
开源
让大模型打街霸，用对战胜负测实力
Benchmark LLMs by fighting in Street Fighter 3! The new way to evaluate the quality ···
model-leaderboard
开源
目标检测模型谁最强？排行榜按小大物体直接比。
Which model is the best at object detection? Which is best for small or large object···
exploitgym
开源
用真实漏洞测 AI 能不能写出能跑的利用代码
ExploitGym is a large-scale, realistic benchmark built from real-world vulnerabiliti···
Anti-DreamBooth
开源
给照片加隐形噪声，让AI学不会你的脸
Anti-DreamBooth: Protecting users from personalized text-to-image synthesis (ICCV 20···
vulnhuntr
开源
让LLM自动帮你扫代码找漏洞，零样本开箱即用
Zero shot vulnerability discovery using LLMs
Awesome-AI-Hacking-Agents
开源
一页清单，快速找到能自动打渗透的 AI 智能体
List of AI Hacking Agents
rag-arena
开源
让用户投票，选出最好的 RAG 系统
Open-source RAG evaluation through users' feedback
Eval
开源
并行跑 LLM 评测，速度提升最高 17 倍
High-performance LLM evaluation framework with parallel API calls — up to 17× fast···