项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 136
核心亮点
- 首个面向治疗决策的大规模推理基准，填补医疗AI评测空白
- 基于NeurIPS论文，评测任务设计有学术严谨性
- 提供自动化评估脚本，便于复现和扩展新场景
不足之处
- 早期项目，文档和社区生态待观察
- 数据集规模和覆盖疾病范围可能有限
适用场景
- 医疗AI模型研发团队评估模型推理能力
- 学术研究对比不同LLM在临床决策上的表现
- 医疗机构筛选适合辅助决策的AI系统
替代项目
MedQA、PubMedQA、ClinicalBench
同类项目推荐
LLM-Agent-Evaluation-Survey
开源
一库收齐智能体评测论文，快速摸清评测方法
Top papers related to LLM-based agent evaluation
Aegis
开源
给AI代理装上监控摄像头，实时盯住它的每一个动作。
Your agents have access. You deserve visibility. A local security dashboard for AI c···
MemoryAgentBench
开源
多轮对话里测 Agent 记不记得住、找不找得回
Open source code for ICLR 2026 Paper: Evaluating Memory in LLM Agents via Incrementa···
Awesome-Prompting-on-Vision-Lang···
开源
一网打尽视觉语言模型提示工程论文，快速入门研究
This repo lists relevant papers summarized in our survey paper: A Systematic Survey···
athina-evals
开源
给 LLM 响应做质检，快速发现模型输出问题
Python SDK for running evaluations on LLM generated responses
mt-rag-benchmark
开源
多轮对话下测 RAG，暴露单轮评测看不到的短板
Multi-Turn RAG Benchmark
hash-hop
开源
自动生成超长文本定位题，快速测出模型长上下文真本事
Long context evaluation for large language models
appworld
开源
在真实模拟世界里，测试你的 AI 智能体会不会办事。
AppWorld: A Controllable World of Apps and People for Benchmarking Function Calling ···
watchtower
开源
用 LLM 编排本地网站渗透测试，自动出报告
Watchtower - AI-powered penetration testing automation CLI tool that leverages LLMs ···