MisguidedAttention
用误导性提示词，测出大模型推理的短板
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 489
技术标签
使用教程
环境要求
- 无需环境
安装与启动步骤
-
1认清它是题集
收集的是用来挑战模型推理的提示词。
-
2按类型找
经典悖论、谜题、思维实验各有对应。
-
3一次只喂一题
混在一起会干扰判断。
-
4记录模型的错法
错在哪比答对更有信息量。
如何确认成功
用其中三条提示词测同一个模型，能指出每条里哪个误导性条件是让它答错的关键
注意事项
- 它是用来测模型在误导信息下推理能力的提示词集。
- 题目是经典悖论与谜题的变体，专门加了误导条件。
- 适合做模型对比与回归测试。
- 一次混多题会污染结论。
核心亮点
- 提供系统化的误导性 prompt 集合，覆盖多种推理陷阱
- 直接用于模型鲁棒性评测，结果可量化
- 轻量级，易于集成到现有测试流程
不足之处
- 提示词数量有限，覆盖面可能不够广
- 缺乏自动化评估工具，需手动运行
- 文档/社区待观察
适用场景
- 大模型推理能力基准测试
- 安全对齐研究中的对抗性测试
- 提示工程优化中的鲁棒性验证
替代项目
TruthfulQA、Adversarial NLI、Big-Bench
上一篇：llm-srbench
下一篇：napolab
同类项目推荐
awesome-ai-agents-security
开源
一张地图看懂AI代理安全生态，快速找到关键资源
A living map of the AI agent security ecosystem.
UHGEval
开源
一键测出大模型胡说八道，量化幻觉风险
[ACL 2024] User-friendly evaluation framework: Eval Suite & Benchmarks: UHGEval, Hal···
llm-colosseum
开源
让大模型打街霸，用对战胜负测实力
Benchmark LLMs by fighting in Street Fighter 3! The new way to evaluate the quality ···
alpaca_eval
开源
自动评估指令跟随模型，快、便宜、且靠谱。
An automatic evaluator for instruction-following language models. Human-validated, h···
Awesome-Mental-Health-LLMs
开源
一篇文章看懂LLM做心理健康的技术地图与风险
From Pattern Recognizers to Personalized Companions: A Survey of Large Language Mode···
node9-proxy
开源
给AI代理装上安全阀，敏感操作先审批再执行
Access control for AI agents. Set what Claude Code, Codex, Gemini, Cursor and any MC···
CVPR_2025_Oral_Paper_List
开源
一键速览CVPR 2025 Oral论文，紧跟视觉前沿
A curated list of CVPR 2025 Oral paper. Total 96
terminal-bench
开源
在真实终端里跑任务，量出 agent 到底行不行
Measuring and evolving with the frontier of agent work
SWE-bench_Pro-os
开源
用长周期工程任务，真实测出 AI Agent 的软件工程上限
SWE-Bench Pro: Can AI Agents Solve Long-Horizon Software Engineering Tasks?