XrayGLM

上传胸片,秒出中文诊断报告,辅助医生读片

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 145 🐛 待处理 28 👀 关注 6
GitHub ↗
GitHub 星标 ★ 1084
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源模型,本地部署,完全免费

项目预览

XrayGLM 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队WangRongsheng
定价模式🏷️完全免费
价格说明开源模型,本地部署,完全免费
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议NOASSERTION
主要语言Python
技术栈/模型large-language-models,llms,medical,multimodal,visualglm-6b,xray
GitHub 星标★ 1084
上线时间2023-05-23 00:00:00
代码更新2024-11-20
仓库体积9.2 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数5

项目介绍

XrayGLM是首个会看胸部X光片的中文多模态医学大模型,基于VisualGLM-6B架构,通过中文胸部X光影像报告数据集进行微调,能够对输入的胸部X光片生成中文影像描述和诊断建议。它解决了中文医学影像理解领域缺乏专用多模态模型的问题,为医生提供辅助读片工具,降低影像科工作负担。核心能力包括:胸部X光影像特征提取、中文报告生成、多轮对话交互(可追问细节)、支持图文联合理解。项目开源了模型权重、推理代码和训练数据,方便研究者和开发者二次开发。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1084

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:进阶 约 20 分钟 部署方式:本地安装 6 步

环境要求

  • Python 环境(用于运行 web_demo.py 与安装 requirements.txt 依赖)
  • 能访问 GitHub 与 HuggingFace 下载代码和模型权重
  • 本地需要有 XrayGLM 模型权重目录 checkpoints/checkpoints-XrayGLM-3000
  • 建议使用 Linux 环境,Windows 安装 deepspeed 可能出错(可用 requirements_wo_ds.txt 绕过)

安装与启动步骤

  1. 1获取项目代码

    从 GitHub 克隆 XrayGLM 仓库到本地,后续命令都在该目录下执行。

    git clone https://github.com/WangRongsheng/XrayGLM.git
    cd XrayGLM
  2. 2安装项目依赖

    在项目根目录执行,安装 requirements.txt 中的全部依赖;国内网络可换用阿里云镜像源加速。

    pip install -r requirements.txt
  3. 3国内换源安装

    如果官方源太慢,把安装命令换成阿里云镜像,安装内容与上一步一致。

    pip install -i https://mirrors.aliyun.com/pypi/simple/ -r requirements.txt
  4. 4绕过 deepspeed 安装

    Windows 或不需要训练时可改用 requirements_wo_ds.txt,再单独安装 SwissArmyTransformer。

    pip install -i https://mirrors.aliyun.com/pypi/simple/ -r requirements_wo_ds.txt
    pip install -i https://mirrors.aliyun.com/pypi/simple/ --no-deps "SwissArmyTransformer>=0.3.6"
  5. 5准备模型权重

    从项目给出的 HuggingFace 主页(huggingface.co/wangrongsheng)获取权重,按命令要求放到 checkpoints/checkpoints-XrayGLM-3000 目录下。

  6. 6启动 WebUI 对话

    用 --from_pretrained 指定本地权重目录启动 Gradio 网页演示,加载完成后在浏览器操作。

    python web_demo.py --from_pretrained checkpoints/checkpoints-XrayGLM-3000

关键配置

配置项必填说明示例
--from_pretrained是指定本地模型权重所在的目录路径,供 web_demo.py 加载checkpoints/checkpoints-XrayGLM-3000

如何确认成功

浏览器访问 http://127.0.0.1:7860,能看到 WebUI 页面并可上传胸部 X 光片进行中文问答,即为启动成功。

常见问题

Q:Windows 上安装 deepspeed 报错怎么办?

A:deepspeed 对模型推理并非必要,部分 Windows 环境安装会失败。改用 requirements_wo_ds.txt 安装依赖,再单独执行 pip install --no-deps "SwissArmyTransformer>=0.3.6"。

Q:依赖下载太慢或超时怎么办?

A:在 pip 命令中加入国内镜像源,例如 -i https://mirrors.aliyun.com/pypi/simple/,README 中给出的就是阿里云源的写法。

Q:web_demo.py 找不到模型怎么办?

A:--from_pretrained 必须指向真实存在的权重目录,README 示例为 checkpoints/checkpoints-XrayGLM-3000,请确认权重已放到该路径下。

Q:启动后在哪里使用?

A:启动完成后在浏览器访问 http://127.0.0.1:7860,即可打开 XrayGLM 的 WebUI 界面进行多轮图文对话。

注意事项

  • 仓库使用 CC BY-NC-SA 许可,禁止商业用途,使用前请阅读许可条款。
  • deepspeed 主要用于支持 sat 库训练,模型推理并不需要,可按需选择是否安装。
  • README 中列出 Colab 与 HuggingFace 链接,也可参考官方渠道获取权重与在线体验。

核心亮点

  • 首个中文胸片多模态模型,填补中文医学影像理解空白
  • 基于VisualGLM-6B,支持多轮对话,可追问影像细节
  • 开源权重和训练数据,便于医学AI研究者复现和扩展

不足之处

  • 模型规模较小(6B),复杂病例诊断准确性有限
  • 文档/社区待观察,部署和微调教程尚不完善

适用场景

  • 医院影像科辅助读片,快速生成初步报告
  • 医学教学场景,帮助学生理解胸片特征
  • 基层医疗远程诊断,提供中文影像解读支持

替代项目

VisualGLM-6B、LLaVA-Med、BioViL-T

同类项目推荐

ITINERA 开源

让AI按你的喜好,规划出能走通的城市行程

[EMNLP 2024 Industry Track & KDD UrbComp 2024 Best Paper Award] ITINERA: Integrating···

★ 70 2026-08-09
KARE 开源

用知识图谱社区检索增强医疗预测推理,提升准确性和可解释性。

[ICLR'25] Reasoning-Enhanced Healthcare Predictions with Knowledge Graph Community R···

★ 66 2026-08-09
divination 开源

抛硬币出卦,AI 给你解卦,玩转玄学新体验

AI 算卦 - 随机六次硬币结果,生成卦象,并使用 AI 解读

★ 166 2026-08-09
scientific-agent-skills 开源

装个技能包,让 AI 助手秒变科研搭子

Turn any AI agent into an AI Scientist. The #1 Agent Skills library for science, use···

★ 56610 2026-10-11
climsight 开源

用对话式AI,把气候数据变成决策洞察

A next-generation climate information system that uses large language models (LLMs) ···

★ 66 2026-08-09
sec-gemini 开源

用 AI 对话快速研判安全威胁,帮防守方提速

Sec-Gemini is a cutting-edge AI model designed to enhance cybersecurity capabilitie···

★ 662 2026-10-08
CASSIA 开源

多智能体 LLM 自动给单细胞测出细胞类型

CASSIA: A Multi-Agent LLM-Based Single-Cell Cell Type Annotation Framework

★ 109 2026-10-07
open-fdd 开源

给空调系统做体检,自动揪出隐藏故障

Fault Detection Diagnostics (FDD) for HVAC datasets

★ 180 2026-09-21