HunyuanVideo-Foley

看视频自动配音，让无声画面瞬间有真实的声音。

开源 🏷️定价信息待确认 🔧 仅开源项目，无在线服务，需自行部署 视频生成 🍴 复刻 109 🐛 待处理 25 👀 关注 41
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 1095
维护状态 低维护
是否开源 开源
定价模式 🏷️定价信息待确认

项目预览

HunyuanVideo-Foley 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类视频生成
开发团队Tencent-Hunyuan
官网地址https://hunyuan.tencent.com/video/zh?tabIndex=0
GitHubhttps://github.com/Tencent-Hunyuan/HunyuanVideo-Foley
定价模式🏷️定价信息待确认
价格说明开源项目，需自行部署，无在线服务。官网为腾讯混元视频页面，未明确该项目的定价信息。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议NOASSERTION
主要语言Python
技术栈/模型aigc-audio,foley-art,foley-sound-synthesis,text-to-audio,text-to-video,text-video-to-audio,tta,video-to-audio
GitHub 星标★ 1095
上线时间2025-08-15 00:00:00
代码更新2025-09-28
仓库体积1.9 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数5

项目介绍

HunyuanVideo-Foley 是腾讯混元团队开源的多模态扩散模型，用于从视频内容自动生成高保真度的拟音音频（Foley Sound）。它解决了视频后期制作中人工配音耗时耗力的问题，能够根据视频画面中的动作、场景和物体，自动生成与之匹配的脚步声、碰撞声、环境音等。其核心能力在于多模态表示对齐技术，将视觉信息与音频生成模型有效融合，确保生成的音频与视频在时间、语义和物理属性上高度一致。项目基于扩散模型架构，支持文本到音频、视频到音频以及文本+视频到音频等多种输入模式，为视频创作者、游戏开发者、影视后期人员提供了高效的音频生成工具。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1095

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：进阶 约 30 分钟 部署方式：本地安装 4 步

环境要求

  • Linux 系统（官方主要支持）
  • Python 3.8+
  • CUDA 12.4 或 11.8（推荐）
  • 显存：XXL 模型 20GB，XL 模型 16GB；启用 offload 可降至 12GB / 8GB
  • 建议使用 Conda 管理 Python 环境

安装与启动步骤

  1. 1获取项目代码

    将 HunyuanVideo-Foley 仓库下载或克隆到本地目录；README 未给出克隆命令，请自行获取代码。

  2. 2安装依赖

    在项目根目录执行，安装 requirements.txt 中列出的 Python 依赖；建议先建好 Conda 环境。

    pip install -r requirements.txt

  3. 3启动界面

    运行 Gradio 应用，终端会输出本地访问 URL，浏览器打开即可生成拟音音频。

    python3 gradio_app.py

  4. 4低显存启动

    显存不足时启用 offload，XXL 模型可降至 12GB、XL 模型降至 8GB 显存运行。

    ENABLE_OFFLOAD=true python3 gradio_app.py

关键配置

配置项必填说明示例
ENABLE_OFFLOAD否启用卸载以降低显存占用，显存不足时使用true

如何确认成功

启动后终端会输出本地 URL，浏览器打开出现 Gradio 界面并能上传视频生成音频即成功。

常见问题

Q：显存不够怎么办？

A：使用 ENABLE_OFFLOAD=true python3 gradio_app.py 启动，XXL 模型显存需求可降到 12GB，XL 模型可降到 8GB。

Q：支持 Windows 或 macOS 吗？

A：README 标注 OS 为 Linux（primary support），Windows 与 macOS 未明确支持，建议在 Linux 上部署。

Q：依赖安装失败如何排查？

A：确认 Python 3.8+ 且 CUDA 为 12.4 或 11.8，推荐用 Conda 建独立环境后重新执行 pip install -r requirements.txt。

Q：不想本地部署有在线体验入口吗？

A：README 提供了 HuggingFace Demo 空间 tencent/HunyuanVideo-Foley，可直接在线试用。

注意事项

  • README 仅给出 Step 2 环境安装与启动命令，第一步获取代码未给出具体命令。
  • 模型权重见 HuggingFace 仓库 tencent/HunyuanVideo-Foley，具体下载方式 README 未说明。
  • 项目支持文本到音频、视频到音频、文本+视频到音频多种输入模式。
  • 官方 Demo：https://huggingface.co/spaces/tencent/HunyuanVideo-Foley

核心亮点

  • 多模态表示对齐技术，生成的音频与视频画面在时间和语义上高度同步，效果逼真。
  • 支持文本、视频、文本+视频多种输入方式，灵活适配不同创作场景。
  • 基于腾讯混元大模型生态，技术成熟度高，且有官方开源权重和推理代码。

不足之处

  • 对视频中复杂声源（如多人对话、嘈杂背景）的分离能力有限，可能产生混叠声音。
  • 生成音频的采样率和时长受限于模型设计，长视频或高音质需求可能需额外处理。
  • 文档/社区待观察

适用场景

  • 影视后期制作中，为无声视频自动添加环境音和动作音效，提升制作效率。
  • 游戏开发中，根据游戏场景和角色动作实时生成动态音效，增强沉浸感。
  • 短视频创作者为素材快速匹配背景音，降低音频编辑门槛。

替代项目

AudioLDM、Make-An-Audio、Diff-Foley

上一篇：lyrictor

下一篇：edge-tts

同类项目推荐

EmotiVoice 开源

打几个字就能让配音带情绪，开心难过随你指挥

EmotiVoice : a Multi-Voice and Prompt-Controlled TTS Engine

★ 8540 2026-08-09
ncnn-android-piper 开源

手机本地跑神经语音合成，离线秒出中文英文语音

ncnn android piper the fast and local neural text-to-speech engine

★ 72 2026-08-09
TTS-Audio-Suite 开源

在 ComfyUI 里拖拽节点，本地跑多种 TTS 和声音克隆

A ComfyUI custom node integration for local multi-engine multi-language Text-to-Spee···

★ 1262 2026-08-09
jpreprocess 开源

用 Rust 重写 OpenJTalk，让日语 TTS 文本预处理更快更安全

Japanese text preprocessor for Text-to-Speech applications (OpenJTalk rewrite in rus···

★ 61 2026-08-09
mkpl 开源

敲一行命令，目录秒变 M3U 播放列表

Make M3U format playlist from command line

★ 53 2026-08-09
ronor 开源

在终端里控制你的 Sonos 音箱，还能用文字转语音播报

Sonos smart speaker controller API and command-line tools

★ 228 2026-08-09
ms-ra-forwarder 开源

免费调用微软神经网络语音，快速搭建文本转语音服务

免费的在线文本转语音API

★ 1064 2026-08-09
openreader 开源

把电子书变成有声书，边听边看自动高亮

An open-source read-along document reader server with high-quality TTS options, sync···

★ 563 2026-08-09