项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
技术标签
使用教程
—
环境要求
- 操作系统与显卡:natten 加速后端仅支持 Linux + CUDA,其他平台会自动跳过该后端并回退到 Triton/eager 实现
- 需要安装 uv(用于 uv sync / uv run)与 Hugging Face CLI(hf 命令)
- 磁盘空间:模型权重合计约 66 GiB
- 已在 Hugging Face 上接受 LTX-2.5 模型使用条款,并准备一个 Read 权限的访问令牌
- Python 环境(项目为 Python 包,依赖由 uv 管理),推理建议有足够显存的 NVIDIA GPU
安装与启动步骤
-
1克隆仓库
把官方仓库拉到本地并进入项目根目录,后续所有命令都在该目录下执行。
git clone https://github.com/Lightricks/LTX-2.git cd LTX-2 -
2安装依赖
用 uv 安装依赖并启用 natten 额外后端;该后端仅 Linux+CUDA 生效,Windows/macOS 会自动跳过,同一条命令通用。
uv sync --extra natten -
3登录 Hugging Face
使用有读取权限的 Read token 登录;细粒度 token 需勾选“读取受限仓库”权限,否则下载会 401/403。
hf auth login -
4下载模型权重
约 66 GiB。CLI 会在 --local-dir 下保留仓库目录结构,必须下载到 models/ltx-2.5,才能匹配下一步的路径参数。
hf download Lightricks/LTX-2.5 diffusion_models/ltx-2.5-22b-distilled-transformer-bf16.safetensors text_encoders/gemma4-12b-with-proj-ltx-2.5-bf16.safetensors vae/ltx-2.5-video-vae-bf16.safetensors vae/ltx-2.5-audio-vae-bf16.safetensors latent_upscale_models/ltx-2.5-latent-spatial-upscaler-x2-bf16-1.0.safetensors --local-dir models/ltx-2.5 -
5运行音视频生成
这是 DistilledPipeline(最快起点),按提示词生成带同步音频的视频,结果写到 --output-path 指定的 output.mp4。
uv run python -m ltx_pipelines.distilled --transformer-path models/ltx-2.5/diffusion_models/ltx-2.5-22b-distilled-transformer-bf16.safetensors --text-encoder-path models/ltx-2.5/text_encoders/gemma4-12b-with-proj-ltx-2.5-bf16.safetensors --video-vae-path models/ltx-2.5/vae/ltx-2.5-video-vae-bf16.safetensors --audio-vae-path models/ltx-2.5/vae/ltx-2.5-audio-vae-bf16.safetensors --spatial-upsampler-path models/ltx-2.5/latent_upscale_models/ltx-2.5-latent-spatial-upscaler-x2-bf16-1.0.safetensors --num-frames 121 --seed 42 --output-path output.mp4 --prompt "A medium close-up shot features a Caucasian man with a beard, wearing a green and white baseball cap and a light blue shirt over a white t-shirt. He looks intently at the camera, a quick sniff sound is heard, then he speaks with a deep male voice, saying, 'I think it's so good.' The camera remains static with a shallow depth of field."
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
--transformer-path | 是 | 扩散主干(transformer)权重文件路径 | models/ltx-2.5/diffusion_models/ltx-2.5-22b-distilled-transf |
--text-encoder-path | 是 | 文本编码器权重路径 | models/ltx-2.5/text_encoders/gemma4-12b-with-proj-ltx-2.5-bf |
--video-vae-path | 是 | 视频 VAE 权重路径,负责画面编解码 | models/ltx-2.5/vae/ltx-2.5-video-vae-bf16.safetensors |
--audio-vae-path | 是 | 音频 VAE 权重路径,负责声音编解码 | models/ltx-2.5/vae/ltx-2.5-audio-vae-bf16.safetensors |
--spatial-upsampler-path | 是 | 潜空间 2 倍空间放大模型路径 | models/ltx-2.5/latent_upscale_models/ltx-2.5-latent-spatial- |
--prompt | 是 | 文本提示词,描述画面、动作与声音 | A medium close-up shot features a Caucasian man with a beard |
如何确认成功
命令正常结束后,当前目录会生成 output.mp4,播放可见画面且声音与口型描述一致即为启动成功。
常见问题
Q:下载模型时返回 401/403 怎么办?
A:先在 Hugging Face 上接受模型使用条款,再用 Read 权限的令牌登录;若使用细粒度 token,需为其开启“read gated repos”权限范围。
Q:Windows 或 macOS 能装吗?
A:可以。natten 额外后端只在 Linux + CUDA 上生效,其他平台会自动跳过,解码回退到 Triton 或 eager 实现,安装命令不变。
Q:显存不够怎么办?
A:README 建议加 --quantization fp8-cast 并配合 --offload cpu 或 --offload disk 降低显存占用,更多参数见 packages/ltx-pipelines/docs/installation.md。
Q:下载要占多少空间?
A:README 给出的五个权重文件合计约 66 GiB,请预留足够的磁盘与下载时间。
注意事项
- 命令中的权重路径依赖 --local-dir models/ltx-2.5 的目录结构,改下载目录时必须同步修改推理命令里的路径
- DistilledPipeline 是速度最快的入门管线;README 提到对生产级画质可改用 DFR 管线(更慢、更吃显存)
- 更多通用 CLI 参数见 packages/ltx-pipelines/docs/installation.md,VAE 解码后端优化见 optimization.md
核心亮点
- 官方维护的推理+LoRA训练一体包,省去自行拼装生成管线
- 支持音频与视频联合生成,而非只做画面再后期配音
- 以Python包形式提供,便于嵌入自有工作流和二次开发
不足之处
- 音视频联合生成对显存和算力要求高,普通设备难以流畅运行
- 生态与文档仍在成长,非官方教程和社区案例相对有限
适用场景
- 短视频创作者用自有素材LoRA微调专属风格并批量生成带声内容
- 技术团队将音视频生成能力集成进自有内容生产平台
- 研究者基于官方训练包做音视频生成模型的对比实验
替代项目
Open-Sora、CogVideo
下一篇:ATAS
同类项目推荐
MoneyPrinterTurbo
开源
输入一句话,高清短视频自动出炉,文案配音全包了
利用 AI 大模型和自动化工作流,根据主题或关键词一键生成高清短视频。Generate HD short ···
VideoHighlighter
开源
本地离线分析视频,自动找高光、识物体、生成字幕
Open-source local AI video analyzer powered by Ollama. Visual search, automatic high···
openscreen
开源
免费无水印录屏做演示,替代 Screen Studio
Record your screen, ship a demo. Free and open-source, GPU-accelerated, no watermark···
seedance-2.0-api
开源
快速上手字节Seedance 2.0,文本/图片一键生成视频
Seedance 2.0 API — text-to-video and image-to-video examples
