Qwen-MM-Plugins

给任意 agent 框架一键装上多模态能力

开源 free 开发框架
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 3141
维护状态 活跃
是否开源 是
定价模式 free

项目预览

项目数据

分类开发框架
开发团队QwenLM
所属国家
官网地址
定价模式free
价格说明开源免费,无官网及在线服务
访问状态
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型
GitHub 星标★ 3141
30天Star增速
HF 下载量
上线时间2026-07-29 00:00:00
代码更新—
仓库体积—
本站数据更新—
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-10-18
浏览次数0

项目介绍

Qwen-MM-Plugins 是通义千问团队开源的 Python 插件框架,目标是让任意 agent harness(智能体执行框架)原生支持多模态。它不重造 agent 运行时,而是以插件形式把图像、音频、视频等模态的解析、编码与工具调用能力注入现有 harness,解决多数 agent 框架只处理文本、接入多模态需大量胶水代码的问题。核心能力包括统一的模态输入适配层、面向 Qwen 系列多模态模型的调用封装、可插拔的工具/处理器注册机制,以及与主流 agent 框架的对接示例。开发者可在不改变原有编排逻辑的前提下,让智能体直接看图、听音频、处理视频帧,适合快速搭建多模态 agent 原型或为已有系统补齐模态能力。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

正在加载星标数据…

技术标签

使用教程

—

难度:进阶 约 15 分钟 部署方式:本地安装 6 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • 需安装 uv,使用其 uvx 按需安装 Python 依赖
  • Python 环境(项目为 Python 插件框架)
  • 默认 native-image 模式下本地 core 工具无需 API Key
  • 文本字幕回退、云端与搜索能力需对应服务商凭据
  • 视频、文档、浏览器、Blender、FreeCAD 等工作流可能需预装相应系统应用

安装与启动步骤

  1. 1安装 uv

    README 指明依赖 uv 提供的 uvx 来按需安装 Python 依赖,请按其官方文档完成安装。

  2. 2获取项目代码

    从 GitHub 仓库拉取代码到本地目录,后续在仓库内执行安装与配置。

    git clone https://github.com/QwenLM/Qwen-MM-Plugins.git
  3. 3查看安装依赖说明

    README 的 Install 章节为空,安装细节需查阅官方安装文档的依赖章节。

  4. 4运行安装器配置

    在安装器中执行 Configure 动作,设置云端、搜索等能力所需的凭据。

  5. 5运行安装器校验

    执行安装器的 Verify 动作,检查依赖与凭据是否就绪。

  6. 6按需准备系统应用

    若要使用视频、文档、浏览器、Blender、FreeCAD 等插件,先装好对应系统应用。

如何确认成功

运行安装器的 Verify 动作,确认依赖检查通过、所需凭据已正确设置。

常见问题

Q:不填 API Key 能用吗?

A:默认 native-image 模式下本地 core 工具无需 API Key;仅文本字幕回退、云端和搜索能力才需要对应服务商凭据。

Q:依赖需要手动一个个装吗?

A:不需要,uv 提供的 uvx 会按需安装 Python 依赖。

Q:视频或文档类插件跑不起来怎么办?

A:视频、文档、浏览器、Blender、FreeCAD 等工作流可能依赖系统应用,请先安装对应软件再运行 Verify 检查。

Q:配置项去哪里查?

A:README 指向 docs/en/configuration.md 的配置参考,可查阅全部可用设置。

注意事项

  • README 节选的 Install 章节内容为空,具体安装命令请以 docs/en/installation.md 为准。
  • 凭据与全部配置项的准确名称以 docs/en/configuration.md 为准,勿凭猜测填写。
  • 安装器提供 Configure 与 Verify 两个动作,建议先配置再校验。
  • 视频、文档、浏览器、Blender、FreeCAD 等插件依赖系统应用,缺失会导致对应工作流失败。

核心亮点

  • 以插件方式接入,无需重写现有 agent 编排逻辑
  • 统一多模态输入适配层,减少各模态重复胶水代码
  • 背靠 Qwen 多模态模型生态,模型侧调用封装完整

不足之处

  • 强依赖 Qwen 系列模型,换用其他模型需自行适配
  • 项目较新,插件生态与第三方 harness 覆盖仍在扩展
  • 文档与社区规模相对头部 agent 框架偏小

适用场景

  • 为纯文本 agent 框架补齐看图/读图能力
  • 快速搭建可处理图片、音频、视频的多模态智能体原型
  • 在已有 agent 系统中以插件形式增量接入多模态工具

替代项目

LangChain、LlamaIndex、AutoGen

上一篇:handwired

下一篇:mmf

同类项目推荐

dsh-our-free-model 开源

装个插件就能免密钥白嫖前沿大模型,不限量

在 dsh 里装上这个插件即可,无需登录、注册或填 API Key,就能使用包括 DeepSeek V4.1 Fl···

★ 20510 2026-10-04
ComfyUI-sol-attn 开源

在 ComfyUI 中让视频生成注意力更快更省显存

NVIDIA Sol-Attn for ComfyUI / Triton kernel on SM89 - SM121, with zero-copy MiniMax ···

★ 155 2026-08-09
langchain 开源

组装 AI 应用的乐高积木,从想法到上线不换工具

The agent engineering platform.

★ 147968 2026-08-09
transformers 开源

全球最大的模型仓库全家桶,想用的模型一把抓

Transformers: the model-definition framework for state-of-the-art machine learning m···

★ 167785 2026-08-09