
ONE-PEACE
一个模型搞定视觉、音频、语言,跨模态任务开箱即用
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1061
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- Python 3.6 至 3.10
- PyTorch >= 1.10.0(推荐 1.13.1)
- CUDA Version >= 10.2(推荐 11.6)
- 可选:Apex、xformers、FlashAttention 加速库
安装与启动步骤
-
1克隆仓库
从 GitHub 拉取 ONE-PEACE 源码到本地。
git clone https://github.com/OFA-Sys/ONE-PEACE -
2进入项目目录
切换到克隆下来的项目根目录,后续命令都在此目录执行。
cd ONE-PEACE -
3安装依赖包
根据 requirements.txt 安装项目所需 Python 依赖。
pip install -r requirements.txt -
4可选装 Apex
Apex 用于加速训练,非必需;需已配置好 CUDA 编译环境。
git clone https://github.com/NVIDIA/apex cd apex && pip install -v --disable-pip-version-check --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" --global-option="--distributed_adam" --global-option="--deprecated_fused_adam" ./ -
5可选装 xformers
安装 xformers 以启用内存高效注意力,非必需。
conda install xformers -c xformers -
6可选装 FlashAttention
安装 FlashAttention 以使用更快的 LayerNorm,非必需。
git clone --recursive https://github.com/HazyResearch/flash-attention cd flash-attention && pip install . cd csrc/layer_norm && pip install .
如何确认成功
README 未给出本地启动验证命令,可用官方 HuggingFace Spaces Demo 在线验证效果。
常见问题
Q:Python 版本有什么限制?
A:README 要求 3.6 <= Python <= 3.10,过高或过低版本可能导致依赖安装失败。
Q:必须安装 Apex、xformers、FlashAttention 吗?
A:都不是必需依赖,仅用于加速训练或节省显存,可跳过或根据环境选择安装。
Q:没有 CUDA 环境能运行吗?
A:README 要求 CUDA >= 10.2(推荐 11.6),说明应有 NVIDIA GPU 及对应驱动,无 CUDA 环境未说明可运行。
Q:如何获取预训练权重?
A:README 指向 checkpoints.md 与 ModelScope 页面,需从这些渠道下载,未在安装部分给出命令。
注意事项
- Apex、xformers、FlashAttention 均为可选,安装失败不影响基础依赖使用。
- 安装前请确认 PyTorch、CUDA 版本满足要求,避免编译类库失败。
- README 未提供本地推理/训练的具体命令,使用前请阅读 Usage 及 checkpoints.md。
核心亮点
- 统一架构支持视觉、音频、语言三模态联合表示,扩展性强
- 在图文检索、音文检索等跨模态任务上达到领先效果
- 提供预训练权重和微调示例,上手门槛低
不足之处
- 模型参数量较大,推理资源需求高
- 文档/社区待观察
适用场景
- 多模态检索系统(如图文、音文匹配)
- 跨模态理解与生成任务的基础编码器
- 学术研究:探索统一多模态表示学习
替代项目
CLIP、ImageBind、Data2Vec
上一篇:tabicl
同类项目推荐
xgen
开源
用 8k 长上下文,让模型读懂更长的文本
Salesforce open-source LLMs with 8k sequence length.
web-stable-diffusion
开源
浏览器里跑Stable Diffusion,无需服务器,隐私又省钱
Bringing stable diffusion models to web browsers. Everything runs inside the browser···
Awesome-AIGC-Research-Groups
开源
一张清单,快速锁定全球AIGC顶尖研究团队
A Collection of AIGC Research Groups
UForm
开源
小体积多模态模型,图文视频理解快数倍
Pocket-Sized Multimodal AI for content understanding and generation across multiling···
awesome-vlm-architectures
开源
一张图看懂155+视觉语言模型架构,快速选型不迷路
Curated visual catalog of 200+ vision-language model (VLM/MLLM) architectures: paper···
Chinese-LLaMA-Alpaca-3
开源
让 Llama 3 更懂中文,开箱即用
中文羊驼大模型三期项目 (Chinese Llama-3 LLMs) developed from Meta Llama 3
megatts2
开源
本地跑通 Megatts2 语音合成,快速体验 TTS 效果
Unoffical implementation of Megatts2
LLaVA-Mini
开源
一个模型搞定图像视频理解,又快又省资源
LLaVA-Mini is a unified large multimodal model (LMM) that can support the understand···
OralGPT
开源
让 AI 看懂口腔影像,辅助诊断和报告生成
[NeurIPS'25 | CVPR'26] The official repo of OralGPT & MMOral Bench.