seismometer

在 Notebook 里做医疗 AI 模型的分组评测与可视化

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 评测安全 🍴 复刻 50 🐛 待处理 55 👀 关注 11
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 272
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费,遵循开源许可证

项目预览

seismometer 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类评测安全
开发团队epic-open-source
定价模式🏷️完全免费
价格说明开源免费,遵循开源许可证
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议BSD-3-Clause
主要语言Jupyter Notebook
技术栈/模型health-ai,healthcare
GitHub 星标★ 272
上线时间2024-05-06 00:00:00
代码更新2026-10-21
仓库体积5.8 MB
本站数据更新2026-11-03
维护状态较活跃
收录时间2026-11-03
浏览次数0

项目介绍

seismometer 是一个面向医疗健康场景的 AI 模型评测工具,以 Jupyter Notebook 为主要形态,帮助研究者和数据科学家系统评估模型在临床相关任务上的表现。项目解决的核心问题是:通用评测指标难以反映医疗场景的特殊需求,例如不同人群间的性能差异、临床决策阈值的影响以及模型输出的可解释性。它提供可复用的评测流程与可视化组件,支持按亚组拆分指标、绘制性能曲线、对比多个模型或配置,并生成便于沟通的评测报告。整体定位偏向实验性研究工具,适合在 notebook 环境中快速迭代评测方案,而非开箱即用的生产级平台。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-11-03 · 当前星标 ★ 272

技术标签

核心亮点

  • 提供面向医疗场景的评测流程与可视化组件,可直接在 Notebook 中调用
  • 支持按人群亚组拆分指标,便于发现模型在不同群体间的性能差异
  • 以 Jupyter Notebook 为主要形态,评测过程可复现、易分享和二次修改

不足之处

  • 项目处于早期阶段,API 与文档可能随版本变化,稳定性待观察
  • 以 Notebook 为主,缺少面向生产环境的工程化封装与自动化集成能力

适用场景

  • 医疗 AI 研究团队评估诊断模型在不同患者亚组上的表现
  • 数据科学家在 Notebook 中对比多个模型配置并生成可视化评测报告
  • 教学或科研场景中演示医疗模型评测的完整流程

替代项目

Fairlearn、Evidently、SHAP

上一篇:harbor-cookbook

下一篇:torch-fidelity

同类项目推荐

prompt-guard 开源

给 AI 智能体装上防注入防火墙,自动识别恶意提示并评分。

Advanced prompt injection defense system for AI agents. Multi-language detection, se···

★ 180 2026-08-09
search-arena 开源

量化分析搜索增强大模型,看清能力边界

⚔️ [ICLR 2026] Official code of "Search Arena: Analyzing Search-Augmented LLMs".

★ 62 2026-08-09
model-serving-minefield 开源

按症状查 LLM 服务陷阱,避免自信的错误测量

Community registry of LLM serving-path traps that produce confidently wrong measurem···

★ 165 2026-09-14
VEFX-Bench 开源

给视频编辑和特效模型打分,选型不再靠感觉

VEFX-Bench: A Holistic Benchmark for Generic Video Editing and Visual Effects

★ 178 2026-08-09
verifywise 开源

一站式搞定 AI 合规审计,轻松应对欧盟 AI 法案等 20+ 法规。

Complete AI governance and LLM Evals platform with support for EU AI Act, ISO 42001,···

★ 373 2026-08-10
XLingEval 开源

测测大模型用不同语言回答医疗问题的靠谱程度

Code and Resources for the paper, "Better to Ask in English: Cross-Lingual Evaluatio···

★ 392 2026-08-09
WatermarkDM 开源

给AI生成的图像打上隐形水印,一键溯源防滥用

[Tech report]: A Recipe for Watermarking Diffusion Models

★ 155 2026-08-09
UHGEval 开源

一键测出大模型胡说八道,量化幻觉风险

[ACL 2024] User-friendly evaluation framework: Eval Suite & Benchmarks: UHGEval, Hal···

★ 184 2026-08-09