XrayGLM

上传胸片,秒出中文诊断报告,辅助医生读片

XrayGLM是首个会看胸部X光片的中文多模态医学大模型,基于VisualGLM-6B架构,通过中文胸部X光影像报告数据集进行微调,能够对输入的胸部X光片生成中文影像描述和诊断建议。它解决了中文医学影像理解领域缺乏专用多模态模型的问题,为医生提供辅助读片工具,降低影像科工作负担。核心能力包括:胸部X光影像特征提取、中文报告生成、多轮对话交互(可追问细节)、支持图文联合理解。项目开源了模型权重、推理代码和训练数据,方便研究者和开发者二次开发。

开源 free 开源模型
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 1086
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类开源模型
开发团队WangRongsheng
所属国家
官网地址
定价模式free
价格说明开源模型,本地部署,完全免费
访问状态
是否开源是
开源协议NOASSERTION
主要语言Python
技术栈/模型large-language-models,llms,medical,multimodal,visualglm-6b,xray
GitHub 星标★ 1086
30天Star增速
HF 下载量
上线时间2023-05-23 00:00:00
最近更新2026-09-19 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数4

使用教程

难度:进阶 约 20 分钟 部署方式:本地安装 6 步

环境要求

  • Python 环境(用于运行 web_demo.py 与安装 requirements.txt 依赖)
  • 能访问 GitHub 与 HuggingFace 下载代码和模型权重
  • 本地需要有 XrayGLM 模型权重目录 checkpoints/checkpoints-XrayGLM-3000
  • 建议使用 Linux 环境,Windows 安装 deepspeed 可能出错(可用 requirements_wo_ds.txt 绕过)

安装与启动步骤

  1. 1获取项目代码

    从 GitHub 克隆 XrayGLM 仓库到本地,后续命令都在该目录下执行。

    git clone https://github.com/WangRongsheng/XrayGLM.git
    cd XrayGLM
  2. 2安装项目依赖

    在项目根目录执行,安装 requirements.txt 中的全部依赖;国内网络可换用阿里云镜像源加速。

    pip install -r requirements.txt
  3. 3国内换源安装

    如果官方源太慢,把安装命令换成阿里云镜像,安装内容与上一步一致。

    pip install -i https://mirrors.aliyun.com/pypi/simple/ -r requirements.txt
  4. 4绕过 deepspeed 安装

    Windows 或不需要训练时可改用 requirements_wo_ds.txt,再单独安装 SwissArmyTransformer。

    pip install -i https://mirrors.aliyun.com/pypi/simple/ -r requirements_wo_ds.txt
    pip install -i https://mirrors.aliyun.com/pypi/simple/ --no-deps "SwissArmyTransformer>=0.3.6"
  5. 5准备模型权重

    从项目给出的 HuggingFace 主页(huggingface.co/wangrongsheng)获取权重,按命令要求放到 checkpoints/checkpoints-XrayGLM-3000 目录下。

  6. 6启动 WebUI 对话

    用 --from_pretrained 指定本地权重目录启动 Gradio 网页演示,加载完成后在浏览器操作。

    python web_demo.py --from_pretrained checkpoints/checkpoints-XrayGLM-3000

关键配置

配置项必填说明示例
--from_pretrained是指定本地模型权重所在的目录路径,供 web_demo.py 加载checkpoints/checkpoints-XrayGLM-3000

如何确认成功

浏览器访问 http://127.0.0.1:7860,能看到 WebUI 页面并可上传胸部 X 光片进行中文问答,即为启动成功。

常见问题

Q:Windows 上安装 deepspeed 报错怎么办?

A:deepspeed 对模型推理并非必要,部分 Windows 环境安装会失败。改用 requirements_wo_ds.txt 安装依赖,再单独执行 pip install --no-deps "SwissArmyTransformer>=0.3.6"。

Q:依赖下载太慢或超时怎么办?

A:在 pip 命令中加入国内镜像源,例如 -i https://mirrors.aliyun.com/pypi/simple/,README 中给出的就是阿里云源的写法。

Q:web_demo.py 找不到模型怎么办?

A:--from_pretrained 必须指向真实存在的权重目录,README 示例为 checkpoints/checkpoints-XrayGLM-3000,请确认权重已放到该路径下。

Q:启动后在哪里使用?

A:启动完成后在浏览器访问 http://127.0.0.1:7860,即可打开 XrayGLM 的 WebUI 界面进行多轮图文对话。

注意事项

  • 仓库使用 CC BY-NC-SA 许可,禁止商业用途,使用前请阅读许可条款。
  • deepspeed 主要用于支持 sat 库训练,模型推理并不需要,可按需选择是否安装。
  • README 中列出 Colab 与 HuggingFace 链接,也可参考官方渠道获取权重与在线体验。

核心亮点

  • 首个中文胸片多模态模型,填补中文医学影像理解空白
  • 基于VisualGLM-6B,支持多轮对话,可追问影像细节
  • 开源权重和训练数据,便于医学AI研究者复现和扩展

不足之处

  • 模型规模较小(6B),复杂病例诊断准确性有限
  • 文档/社区待观察,部署和微调教程尚不完善

适用场景

  • 医院影像科辅助读片,快速生成初步报告
  • 医学教学场景,帮助学生理解胸片特征
  • 基层医疗远程诊断,提供中文影像解读支持

替代项目

VisualGLM-6B、LLaVA-Med、BioViL-T

项目介绍

XrayGLM 是行业应用领域的开源项目,由 WangRongsheng 开发,2023 年首次发布。

在全站 13,014 个收录项目中,它的 GitHub 星标数(1,086)位列前 30%,在行业应用分类中处于中上游。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-09-19。本地部署,完全免费。

它主要面向的使用场景是:医院影像科辅助读片,快速生成初步报告。同类可对比的替代方案包括 VisualGLM-6B、LLaVA-Med、BioViL-T。

同类项目推荐

xmgai-like 开源

换脸、艺术二维码随手玩,副业灵感一包带走。

本开源 AI 副业搞钱项目集成了强大功能,包括 AI 艺术二维码生成、AI 换脸、Delle3 绘画等···

★ 60 2026-08-09
spoken-to-signed-translation 开源

把口语文本一路转成手语视频的流水线

a text-to-gloss-to-pose-to-video pipeline for spoken to signed language translation

★ 102 2026-09-11
LiveTranslate 开源

直播看片实时翻译,字幕秒出,跨语言无压力

Real-time audio translation, captures system audio + mic, runs ASR (Whisper/SenseVoi···

★ 691 2026-08-13