keystone-bench

换掉关键事实，看AI医疗建议会不会跟着变

keystone-bench 是一个面向临床决策支持的评测基准，基于 OpenAI 的 HealthBench 构建。它要解决的问题是：医疗问答里模型给出的答案往往看起来合理，但真正决定结论的关键事实（keystone fact）是否被正确识别，以及当这个关键事实被替换或移除时，模型给出的行动建议是否随之改变，通常没人检验。项目通过抽取答案所依赖的那一条核心证据，构造证据扰动，观察助手动作是否与证据同步变化，从而衡量模型是真正基于证据推理，还是靠语言模式蒙对。核心能力包括关键事实抽取、证据敏感性测试、与 HealthBench 场景对齐的评分流程，以及可复现的数据集与评测脚本。适合做医疗 LLM 安全评估、临床决策辅助系统验证和证据忠实度研究。