项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 596
使用教程
环境要求
- 无需环境
安装与启动步骤
-
1按类别翻
逻辑、事实、代码错误分区，先看与你场景相关的那类。
-
2点开看细节
条目默认折叠，展开能看到原始对话与截图。
-
3注意时间线
早期案例多已修复，别拿旧案例判断现在的模型。
-
4当测试素材用
拿这些失败模式造自己的评测集更实用。
如何确认成功
能从档案里提炼出五类可复现的失败模式，并各写一条能触发它的测试用例
注意事项
- 它是失败案例档案，不是评测基准。
- 案例以早期模型为主，参考价值随时间下降。
- 按日期分类的部分尤其过时，逻辑分类那部分更耐久。
- 最有价值的用法是反推测试用例。
核心亮点
- 真实案例驱动，直观展示模型边界，比抽象论文更有说服力
- 分类清晰，便于按错误类型快速检索，实用性强
- 以档案形式持续积累，社区可贡献案例，具有长期价值
不足之处
- 项目已停止维护，案例更新停滞，时效性不足
- 缺乏结构化数据导出或API，二次分析不便
适用场景
- 开发者评估模型可靠性时，快速查看常见失败模式
- 普通用户在使用AI前，了解其潜在风险与局限
- 研究者收集失败样本，用于模型改进或测试集构建
替代项目
AI Incident Database、Hallucination Leaderboard、BigBench
上一篇：appworld
同类项目推荐
botium-core
开源
像用 Selenium 测网页一样，自动化测试你的聊天机器人
The Selenium for Chatbots - Bots Testing Bots
semantic-object-accuracy-for-gen···
开源
评估生成图像中对象是否画对了，给文本到图像模型打分。
Code for "Semantic Object Accuracy for Generative Text-to-Image Synthesis" (TPAMI 20···
Awesome-LLM-Quantization
开源
一页看清大模型量化方法与工具
Awesome list for LLM quantization
Tracekit
开源
给 AI Agent 装行车记录仪，每步可查、篡改可发现
Tamper-evident tracing, policy gates and cross-checks for AI agents: see what the ag···
lmring
开源
自建 LLM 竞技场，让真实用户投票选出最强模型
Open-source, self-hostable LLM arena with model compare, voting, and leaderboards
watchtower
开源
扫描AI模型漏洞，守护AI供应链安全
AIShield Watchtower: Dive Deep into AI's Secrets! Open-source tool by AIShield for ···
agent-python-pytest
开源
pytest 跑完自动上报报告，结果集中可查
Framework integration with PyTest
ResearchClawBench
开源
给AI科研智能体打分，从复现实验到发现新知识
ResearchClawBench: Evaluating AI Agents for Automated Research from Re-Discovery to ···
rageval
开源
给RAG系统打分，快速找出效果短板
Evaluation tools for Retrieval-augmented Generation (RAG) methods.