ONE-PEACE

一个模型搞定视觉、音频、语言,跨模态任务开箱即用

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 71 🐛 待处理 11 👀 关注 12
GitHub ↗
GitHub 星标 ★ 1061
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源模型,Apache-2.0许可,可免费使用和部署。

项目预览

ONE-PEACE 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队OFA-Sys
定价模式🏷️完全免费
价格说明开源模型,Apache-2.0许可,可免费使用和部署。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型audio-language,contrastive-loss,foundation-models,multimodal,representation-learning,vision-and-language,vision-language,vision-transformer
GitHub 星标★ 1061
上线时间2023-05-18 00:00:00
代码更新2024-10-06
仓库体积30.6 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

ONE-PEACE 是一个跨视觉、音频、语言三种模态的通用表示模型,旨在探索一种能处理无限模态的统一表征框架。它解决了传统模型只能处理单一或少数模态、难以共享和迁移知识的问题。核心能力包括:通过联合预训练对齐不同模态的语义空间,支持图文检索、音文检索、跨模态分类等任务;采用统一的Transformer架构,可扩展至更多模态;提供预训练模型和微调接口,方便研究者直接使用。该模型在多个跨模态基准上表现优异,为多模态AI研究提供了一个灵活的基础工具。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1061

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:进阶 约 20 分钟 部署方式:本地安装 6 步

环境要求

  • Python 3.6 至 3.10
  • PyTorch >= 1.10.0(推荐 1.13.1)
  • CUDA Version >= 10.2(推荐 11.6)
  • 可选:Apex、xformers、FlashAttention 加速库

安装与启动步骤

  1. 1克隆仓库

    从 GitHub 拉取 ONE-PEACE 源码到本地。

    git clone https://github.com/OFA-Sys/ONE-PEACE
  2. 2进入项目目录

    切换到克隆下来的项目根目录,后续命令都在此目录执行。

    cd ONE-PEACE
  3. 3安装依赖包

    根据 requirements.txt 安装项目所需 Python 依赖。

    pip install -r requirements.txt
  4. 4可选装 Apex

    Apex 用于加速训练,非必需;需已配置好 CUDA 编译环境。

    git clone https://github.com/NVIDIA/apex
    cd apex && pip install -v --disable-pip-version-check --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" --global-option="--distributed_adam" --global-option="--deprecated_fused_adam" ./
  5. 5可选装 xformers

    安装 xformers 以启用内存高效注意力,非必需。

    conda install xformers -c xformers
  6. 6可选装 FlashAttention

    安装 FlashAttention 以使用更快的 LayerNorm,非必需。

    git clone --recursive https://github.com/HazyResearch/flash-attention
    cd flash-attention && pip install .
    cd csrc/layer_norm && pip install .

如何确认成功

README 未给出本地启动验证命令,可用官方 HuggingFace Spaces Demo 在线验证效果。

常见问题

Q:Python 版本有什么限制?

A:README 要求 3.6 <= Python <= 3.10,过高或过低版本可能导致依赖安装失败。

Q:必须安装 Apex、xformers、FlashAttention 吗?

A:都不是必需依赖,仅用于加速训练或节省显存,可跳过或根据环境选择安装。

Q:没有 CUDA 环境能运行吗?

A:README 要求 CUDA >= 10.2(推荐 11.6),说明应有 NVIDIA GPU 及对应驱动,无 CUDA 环境未说明可运行。

Q:如何获取预训练权重?

A:README 指向 checkpoints.md 与 ModelScope 页面,需从这些渠道下载,未在安装部分给出命令。

注意事项

  • Apex、xformers、FlashAttention 均为可选,安装失败不影响基础依赖使用。
  • 安装前请确认 PyTorch、CUDA 版本满足要求,避免编译类库失败。
  • README 未提供本地推理/训练的具体命令,使用前请阅读 Usage 及 checkpoints.md。

核心亮点

  • 统一架构支持视觉、音频、语言三模态联合表示,扩展性强
  • 在图文检索、音文检索等跨模态任务上达到领先效果
  • 提供预训练权重和微调示例,上手门槛低

不足之处

  • 模型参数量较大,推理资源需求高
  • 文档/社区待观察

适用场景

  • 多模态检索系统(如图文、音文匹配)
  • 跨模态理解与生成任务的基础编码器
  • 学术研究:探索统一多模态表示学习

替代项目

CLIP、ImageBind、Data2Vec

上一篇:tabicl

下一篇:nucleotide-transformer

同类项目推荐

xgen 开源

用 8k 长上下文,让模型读懂更长的文本

Salesforce open-source LLMs with 8k sequence length.

★ 727 2026-08-09
web-stable-diffusion 开源

浏览器里跑Stable Diffusion,无需服务器,隐私又省钱

Bringing stable diffusion models to web browsers. Everything runs inside the browser···

★ 3731 2026-08-09
UForm 开源

小体积多模态模型,图文视频理解快数倍

Pocket-Sized Multimodal AI for content understanding and generation across multiling···

★ 1253 2026-11-06
awesome-vlm-architectures 开源

一张图看懂155+视觉语言模型架构,快速选型不迷路

Curated visual catalog of 200+ vision-language model (VLM/MLLM) architectures: paper···

★ 1358 2026-08-09
Chinese-LLaMA-Alpaca-3 开源

让 Llama 3 更懂中文,开箱即用

中文羊驼大模型三期项目 (Chinese Llama-3 LLMs) developed from Meta Llama 3

★ 1978 2026-08-09
megatts2 开源

本地跑通 Megatts2 语音合成,快速体验 TTS 效果

Unoffical implementation of Megatts2

★ 286 2026-08-09
LLaVA-Mini 开源

一个模型搞定图像视频理解,又快又省资源

LLaVA-Mini is a unified large multimodal model (LMM) that can support the understand···

★ 573 2026-08-09
OralGPT 开源

让 AI 看懂口腔影像,辅助诊断和报告生成

[NeurIPS'25 | CVPR'26] The official repo of OralGPT & MMOral Bench.

★ 110 2026-08-09