项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1365
使用教程
环境要求
- Python 3.11(README 用 conda 创建 Lance 环境)
- 支持 CUDA 12.6 的 NVIDIA GPU 与驱动(torch 使用 cu126 轮子)
- 已安装 conda 与 git
- 磁盘空间需容纳 Lance-3B 权重(含 safetensors/bin/pth 等文件)
- 能访问 Hugging Face 下载模型权重
安装与启动步骤
-
1克隆仓库
把 Lance 官方仓库拉到本地,并进入项目根目录,后续命令都在该目录执行。
git clone https://github.com/bytedance/Lance.git cd Lance -
2创建 conda 环境
按 README 用 Python 3.11 新建名为 Lance 的虚拟环境并激活,避免污染系统环境。
conda create -n Lance python=3.11 -y conda activate Lance -
3安装 PyTorch
从 PyTorch 官方 cu126 源安装 torch 2.8.0、torchvision 0.23.0、torchaudio 2.8.0,版本必须对齐。
pip install torch==2.8.0 torchvision==0.23.0 torchaudio==2.8.0 --index-url https://download.pytorch.org/whl/cu126 -
4安装项目依赖
在已激活的 Lance 环境中安装 requirements.txt 里的全部 Python 依赖。
pip install -r requirements.txt -
5安装 flash-attn
安装 flash-attn 2.8.3;源码编译失败时可改用 README 给的预编译 wheel,需自行核对 Python/PyTorch/CUDA 版本。
pip install flash-attn==2.8.3 --no-build-isolation -
6下载模型权重
用 huggingface_hub 的 snapshot_download 拉取 bytedance-research/Lance 权重到 downloads/ 目录,按 allow_patterns 只取必要文件。
from huggingface_hub import snapshot_download save_dir = "./downloads/" repo_id = "bytedance-research/Lance" cache_dir = save_dir + "/cache" snapshot_download(cache_dir=cache_dir, local_dir=save_dir, repo_id=repo_id, local_dir_use_symlinks=False, resume_download=True, allow_patterns=["*.json", "*.safetensors", "*.bin", "*.py", "*.md", "*.txt","*.pth",], ) -
7运行推理
先修改 inference_lance.sh 顶部的推理参数,再执行脚本;任务可用 t2i、t2v、i2v、image_edit、video_edit、x2t_image、x2t_video。
bash inference_lance.sh
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
repo_id | 是 | 权重下载用的 Hugging Face 仓库 ID | bytedance-research/Lance |
save_dir | 是 | 权重保存目录,需为 downloads/ 供推理脚本加载 | ./downloads/ |
cache_dir | 否 | Hugging Face 下载缓存目录 | ./downloads/cache |
TASK_DEFAULT_CONFIGS | 否 | 在 inference_lance.py 中自定义各任务的默认数据样本 | t2i |
inference_lance.sh 顶部参数 | 是 | 脚本开头的推理参数区,运行前需按需修改 | bash inference_lance.sh |
如何确认成功
执行 bash inference_lance.sh 能跑完且不报错,即说明环境、flash-attn 与权重均已正确加载。
常见问题
Q:flash-attn 源码安装失败怎么办?
A:改用 README 提供的预编译 wheel 安装(带 --no-cache-dir --no-deps --force-reinstall)。该 wheel 来自第三方仓库仅供参考,务必核对 Python、PyTorch、CUDA 与 ABI 版本是否匹配。
Q:Lance 支持哪些推理任务?
A:支持 t2i、t2v、i2v、image_edit、video_edit、x2t_image、x2t_video 共七类任务,可在 inference_lance.sh 顶部切换。
Q:推理参数在哪里配置?
A:运行前修改 inference_lance.sh 顶部的推理参数;若要替换每个任务的默认数据样本,可改 inference_lance.py 中的 TASK_DEFAULT_CONFIGS。
Q:怎么跑官方基准测试?
A:benchmarks/ 下已提供可直接运行的脚本:图像生成 GenEVAL 与 DPG、图像编辑 GEdit、视频生成 VBench,直接 bash 对应 .sh 即可。
Q:为什么生成质量不理想?
A:README 提示所有任务都建议按仓库示例中的 prompt 格式书写输入提示词,遵循示例格式通常能获得更好的生成效果。
注意事项
- weight 下载脚本的 allow_patterns 只拉取 json、safetensors、bin、py、md、txt、pth 等文件,勿随意删减。
- 预编译 flash-attn wheel 来自第三方仓库,README 明确说明仅供参考,安装前请校验版本匹配。
- 输入提示词建议参照仓库示例格式,否则生成质量会下降。
- benchmarks/ 下的 GenEVAL、DPG、GEdit、VBench 脚本可直接运行,便于对比效果。
核心亮点
- 原生统一多模态架构,单一模型覆盖理解、生成、编辑三大任务,无需拼接多个模型
- 仅3B激活参数,显存占用低,可在消费级GPU上运行,大幅降低部署成本
- 支持图像与视频的跨模态联合建模,能处理视频编辑等复杂时序任务
不足之处
- 项目较新,文档和社区生态尚待完善
- 3B参数规模在复杂生成任务上可能受限于细节质量,与更大模型有差距
适用场景
- 边缘设备或中小型团队快速部署多模态AI助手
- 视频内容创作中的自动剪辑、风格化编辑
- 多模态研究中的轻量基线模型,用于对比实验
替代项目
LLaVA、MiniGPT-4、Emu2
上一篇:ChatRWKV
下一篇:Stable-Diffusion
同类项目推荐
OceanGPT
开源
让大模型懂海洋,科学问答与数据分析一步到位
[沧渊] [ACL 2024] OceanGPT: A Large Language Model for Ocean Science Tasks
awesome-diffusion-categorized
开源
按子领域分类的扩散模型论文库,快速找到你要的论文
collection of diffusion model papers categorized by their subareas
awesome-personalized-lmms
开源
收藏个性化多模态模型资源,快速跟进前沿研究。
A curated list of Awesome Personalized Large Multimodal Models resources
awesome-LLM-game-agent-papers
开源
一网打尽LLM游戏智能体论文,快速定位研究方向
A Survey on Large Language Model-Based Game Agents (ACM CSUR)
HongLabLLM
开源
用 Notebook 一步步跑通自己的小语言模型
Chinese-Llama-2-7b
开源
下载即用的中文 LLaMA2,让中文对话开箱即跑
开源社区第一个能下载、能运行的中文 LLaMA2 模型!
Awesome-LLM-in-Social-Science
开源
一键速览LLM在社会学科的前沿论文,紧跟研究热点
Awesome papers involving LLMs in Social Science.
GLM-5
开源
让AI从写代码升级为自主干工程,直接交付可运行结果
GLM-5: From Vibe Coding to Agentic Engineering
Awesome-Multi-Turn-LLMs
开源
一张图看懂多轮LLM研究全景,快速定位关键论文和数据集
This is the official GitHub repository for our survey paper "Beyond Single-Turn: A S···
