LTX-2

官方工具包,本地跑通音视频生成还能LoRA微调

开源 freemium 视频生成
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 9796
维护状态 活跃
是否开源 是
定价模式 freemium

项目预览

项目数据

分类视频生成
开发团队Lightricks
所属国家
官网地址https://ltx.io
定价模式freemium
价格说明开源推理包免费,官网LTX Studio提供免费额度及付费订阅
访问状态
是否开源是
开源协议NOASSERTION
主要语言Python
技术栈/模型generative-ai,ltx,ltx-2
GitHub 星标★ 9796
30天Star增速
HF 下载量
上线时间2026-01-03 00:00:00
代码更新—
仓库体积—
本站数据更新—
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-10-20
浏览次数0

项目介绍

LTX-2 是 LTX-2 音视频生成模型的官方 Python 推理与 LoRA 训练工具包。它解决的核心问题是:让开发者和创作者不必从零搭建复杂管线,就能在本地或自有环境中直接调用一个同时生成画面与声音的生成模型,并基于自有素材做轻量微调。核心能力包括:提供开箱即用的推理脚本,支持文本/条件驱动的音视频联合生成;内置 LoRA 训练流程,可用少量数据定制风格或主体;以 Python 包形式组织,便于集成到现有生成流水线或二次开发。项目定位偏工程落地而非纯研究演示,适合需要可控、可微调音视频生成能力的技术团队。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

正在加载星标数据…

技术标签

使用教程

—

难度:高级 约 90 分钟 部署方式:本地安装 5 步

环境要求

  • 操作系统与显卡:natten 加速后端仅支持 Linux + CUDA,其他平台会自动跳过该后端并回退到 Triton/eager 实现
  • 需要安装 uv(用于 uv sync / uv run)与 Hugging Face CLI(hf 命令)
  • 磁盘空间:模型权重合计约 66 GiB
  • 已在 Hugging Face 上接受 LTX-2.5 模型使用条款,并准备一个 Read 权限的访问令牌
  • Python 环境(项目为 Python 包,依赖由 uv 管理),推理建议有足够显存的 NVIDIA GPU

安装与启动步骤

  1. 1克隆仓库

    把官方仓库拉到本地并进入项目根目录,后续所有命令都在该目录下执行。

    git clone https://github.com/Lightricks/LTX-2.git
    cd LTX-2
  2. 2安装依赖

    用 uv 安装依赖并启用 natten 额外后端;该后端仅 Linux+CUDA 生效,Windows/macOS 会自动跳过,同一条命令通用。

    uv sync --extra natten
  3. 3登录 Hugging Face

    使用有读取权限的 Read token 登录;细粒度 token 需勾选“读取受限仓库”权限,否则下载会 401/403。

    hf auth login
  4. 4下载模型权重

    约 66 GiB。CLI 会在 --local-dir 下保留仓库目录结构,必须下载到 models/ltx-2.5,才能匹配下一步的路径参数。

    hf download Lightricks/LTX-2.5 
        diffusion_models/ltx-2.5-22b-distilled-transformer-bf16.safetensors 
        text_encoders/gemma4-12b-with-proj-ltx-2.5-bf16.safetensors 
        vae/ltx-2.5-video-vae-bf16.safetensors 
        vae/ltx-2.5-audio-vae-bf16.safetensors 
        latent_upscale_models/ltx-2.5-latent-spatial-upscaler-x2-bf16-1.0.safetensors 
        --local-dir models/ltx-2.5
  5. 5运行音视频生成

    这是 DistilledPipeline(最快起点),按提示词生成带同步音频的视频,结果写到 --output-path 指定的 output.mp4。

    uv run python -m ltx_pipelines.distilled 
        --transformer-path       models/ltx-2.5/diffusion_models/ltx-2.5-22b-distilled-transformer-bf16.safetensors 
        --text-encoder-path      models/ltx-2.5/text_encoders/gemma4-12b-with-proj-ltx-2.5-bf16.safetensors 
        --video-vae-path         models/ltx-2.5/vae/ltx-2.5-video-vae-bf16.safetensors 
        --audio-vae-path         models/ltx-2.5/vae/ltx-2.5-audio-vae-bf16.safetensors 
        --spatial-upsampler-path models/ltx-2.5/latent_upscale_models/ltx-2.5-latent-spatial-upscaler-x2-bf16-1.0.safetensors 
        --num-frames 121 
        --seed 42 
        --output-path output.mp4 
        --prompt "A medium close-up shot features a Caucasian man with a beard, wearing a green and white baseball cap and a light blue shirt over a white t-shirt. He looks intently at the camera, a quick sniff sound is heard, then he speaks with a deep male voice, saying, 'I think it's so good.' The camera remains static with a shallow depth of field."

关键配置

配置项必填说明示例
--transformer-path是扩散主干(transformer)权重文件路径models/ltx-2.5/diffusion_models/ltx-2.5-22b-distilled-transf
--text-encoder-path是文本编码器权重路径models/ltx-2.5/text_encoders/gemma4-12b-with-proj-ltx-2.5-bf
--video-vae-path是视频 VAE 权重路径,负责画面编解码models/ltx-2.5/vae/ltx-2.5-video-vae-bf16.safetensors
--audio-vae-path是音频 VAE 权重路径,负责声音编解码models/ltx-2.5/vae/ltx-2.5-audio-vae-bf16.safetensors
--spatial-upsampler-path是潜空间 2 倍空间放大模型路径models/ltx-2.5/latent_upscale_models/ltx-2.5-latent-spatial-
--prompt是文本提示词,描述画面、动作与声音A medium close-up shot features a Caucasian man with a beard

如何确认成功

命令正常结束后,当前目录会生成 output.mp4,播放可见画面且声音与口型描述一致即为启动成功。

常见问题

Q:下载模型时返回 401/403 怎么办?

A:先在 Hugging Face 上接受模型使用条款,再用 Read 权限的令牌登录;若使用细粒度 token,需为其开启“read gated repos”权限范围。

Q:Windows 或 macOS 能装吗?

A:可以。natten 额外后端只在 Linux + CUDA 上生效,其他平台会自动跳过,解码回退到 Triton 或 eager 实现,安装命令不变。

Q:显存不够怎么办?

A:README 建议加 --quantization fp8-cast 并配合 --offload cpu 或 --offload disk 降低显存占用,更多参数见 packages/ltx-pipelines/docs/installation.md。

Q:下载要占多少空间?

A:README 给出的五个权重文件合计约 66 GiB,请预留足够的磁盘与下载时间。

注意事项

  • 命令中的权重路径依赖 --local-dir models/ltx-2.5 的目录结构,改下载目录时必须同步修改推理命令里的路径
  • DistilledPipeline 是速度最快的入门管线;README 提到对生产级画质可改用 DFR 管线(更慢、更吃显存)
  • 更多通用 CLI 参数见 packages/ltx-pipelines/docs/installation.md,VAE 解码后端优化见 optimization.md

核心亮点

  • 官方维护的推理+LoRA训练一体包,省去自行拼装生成管线
  • 支持音频与视频联合生成,而非只做画面再后期配音
  • 以Python包形式提供,便于嵌入自有工作流和二次开发

不足之处

  • 音视频联合生成对显存和算力要求高,普通设备难以流畅运行
  • 生态与文档仍在成长,非官方教程和社区案例相对有限

适用场景

  • 短视频创作者用自有素材LoRA微调专属风格并批量生成带声内容
  • 技术团队将音视频生成能力集成进自有内容生产平台
  • 研究者基于官方训练包做音视频生成模型的对比实验

替代项目

Open-Sora、CogVideo

上一篇:awesome-opus5-5-videos

下一篇:ATAS

同类项目推荐

MoneyPrinterTurbo 开源

输入一句话,高清短视频自动出炉,文案配音全包了

利用 AI 大模型和自动化工作流,根据主题或关键词一键生成高清短视频。Generate HD short ···

★ 133006 2026-08-09
VideoHighlighter 开源

本地离线分析视频,自动找高光、识物体、生成字幕

Open-source local AI video analyzer powered by Ollama. Visual search, automatic high···

★ 250 2026-09-20
openscreen 开源

免费无水印录屏做演示,替代 Screen Studio

Record your screen, ship a demo. Free and open-source, GPU-accelerated, no watermark···

★ 4568 2026-08-10
seedance-2.0-api 开源

快速上手字节Seedance 2.0,文本/图片一键生成视频

Seedance 2.0 API — text-to-video and image-to-video examples

★ 329 2026-08-26