FollowBench
用多级细粒度约束，精准测出大模型指令遵循的真实水平
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 121
核心亮点
- 设计了从简单到复杂的多层级约束（1-5个约束），能细致区分模型能力差异
- 提供自动评估脚本，基于GPT-4打分，无需人工标注，可复现性强
- 数据公开且配套代码，便于研究者直接使用和扩展
不足之处
- 依赖GPT-4作为评估器，存在一定成本和偏差风险
- 测试集规模较小（500条），覆盖场景有限
适用场景
- 学术研究：比较不同LLM的指令遵循能力
- 模型开发：在发布前测试模型对复杂指令的处理能力
- 基准测试：作为LLM评估套件的一部分，补充细粒度约束维度
替代项目
IFEval、InstructionFollowing-Eval、ComplexBench
同类项目推荐
inference-perf
开源
给大模型推理服务做压测，量化吞吐延迟
GenAI inference performance benchmarking tool
pytorch-grad-cam
开源
一键生成热力图，看清 AI 模型到底在看哪里
Advanced AI Explainability for computer vision. Support for CNNs, Vision Transforme···
ai-evals
开源
用 Ruby 脚本跑 AI 模型评测，选型对比有据可依
Evals and benchmarks for AI models
faster_coco_eval
开源
替换 pycocotools，COCO 评测提速数倍不丢精度
Continuation of an abandoned project fast-coco-eval
heurigym
开源
用 LLM 设计优化算法，一键评测智能体启发式能力
Agentic Benchmark for LLM-Crafted Heuristics in Combinatorial Optimization (ICLR'26)
InfiniteBench
开源
测出大模型在10万字长文本下的真实水平
Codes for the paper "∞Bench: Extending Long Context Evaluation Beyond 100K Tokens":···
text2image-benchmark
开源
一键跑分，量化你的文生图模型实力
Benchmark for generative image models
LLM-Agent-Benchmark-List
开源
一站式查找 LLM 智能体评估基准，省去全网搜索时间
A banchmark list for evaluation of large language models.
tribunal
开源
在 Elixir 里像写测试一样评测 LLM 输出
LLM evaluation framework for Elixir: evaluate and test LLM outputs, detect hallucina···