Awesome-LLM-Reasoning-Failures
一库看懂大模型推理翻车现场与原因
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-25 · 当前星标 ★ 223
技术标签
核心亮点
- 按认知、具身、形式、非形式等维度分类整理推理失败案例，检索路径清晰
- 直接对应同名论文，可作为论文的配套资源索引，方便复现与延伸阅读
- 聚焦失败分析而非单纯刷榜，对评测与安全对齐方向有实际参考价值
不足之处
- 以链接和文献汇总为主，缺少可运行的评测代码或统一数据格式
- 早期项目，条目覆盖与更新频率依赖维护者，社区讨论规模有限
适用场景
- 研究 LLM 推理能力边界，快速定位已有失败模式与相关论文
- 设计新的推理评测基准时，参考失败分类避免重复造轮子
- 安全对齐团队排查模型在逻辑与常识推理上的系统性错误
替代项目
Awesome-LLM、LLM-Reasoning-Papers
同类项目推荐
UHGEval
开源
一键测出大模型胡说八道，量化幻觉风险
[ACL 2024] User-friendly evaluation framework: Eval Suite & Benchmarks: UHGEval, Hal···
AutoControl-Arena
开源
自动给AI找茬，提前暴露危险行为
[ICML 2026] AutoControl Arena: Frontier AI Risk Auto-Discovery Platform
TravelPlanner
开源
测测你的AI会不会做旅行攻略，一测便知规划能力
[ICML'24 Spotlight] "TravelPlanner: A Benchmark for Real-World Planning with Languag···
common_metrics_on_video_quality
开源
一键计算视频生成质量指标，快速对比模型效果
You can easily calculate FVD, PSNR, SSIM, LPIPS for evaluating the quality of genera···
EasyJailbreak
开源
一键生成越狱提示词，快速测评大模型安全防线
An easy-to-use Python framework to generate adversarial jailbreak prompts.
openai-guardrails-js
开源
给 LLM 应用加一道输入输出安检门，拦截越狱与敏感内容
OpenAI Guardrails - TypeScript / JavaScript
axbench
开源
给LLM解释方法打分，选出真正有用的那个
Stanford NLP Python library for benchmarking the utility of LLM interpretability met···
crust
开源
给 AI Agent 装上行为拦截闸，危险操作发生前就挡住
Open Source AI Agent Security Infrastructure — intercepts and blocks dangerous agen···
VLGuard
开源
给视觉大模型加安全锁，几乎零成本防恶意图片诱导
[ICML 2024] Safety Fine-Tuning at (Almost) No Cost: A Baseline for Vision Large Lang···