violin

上传视频,自动生成多语言字幕和配音,一键完成本地化

开源 freemium 行业应用
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 1080
维护状态 维护中
是否开源 是
定价模式 freemium

项目预览

项目数据

分类行业应用
开发团队shang-zhu
所属国家
定价模式freemium
价格说明开源基础版免费,云服务付费,提供免费试用额度
访问状态
是否开源是
开源协议MIT
主要语言Python
技术栈/模型agent-skills,asr,dubbing,video-translation
GitHub 星标★ 1080
30天Star增速
HF 下载量
上线时间2026-04-07 00:00:00
代码更新—
仓库体积—
本站数据更新—
维护状态维护中
中文支持
访问方式
移动端支持
综合评分
收录时间2026-09-05
浏览次数9

项目介绍

violin 是一个开源的视频翻译技能(Video Translation Skill),主要面向视频内容的跨语言本地化场景。它解决的问题是:传统视频翻译需要人工处理字幕、配音和音画同步,流程繁琐且成本高。violin 基于 agent-skills 架构,集成了自动语音识别(ASR)、机器翻译、配音(dubbing)和视频合成能力,能够将一段视频的语音自动转录为文本,翻译成目标语言,再生成对应语言的字幕和配音,最终输出翻译后的视频。其核心能力包括:支持多语言识别与翻译、自动生成对齐的字幕、语音克隆或合成配音、以及保持原始视频画面和节奏的合成输出。项目采用 Python 编写,模块化设计,便于开发者集成到自己的智能体或工作流中。作为一个成长中的项目(GitHub 星标 1055),violin 为视频内容创作者、跨国企业培训和多语言营销提供了高效的自动化翻译解决方案,显著降低人工参与度,提升视频本地化效率。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

正在加载星标数据…

技术标签

使用教程

—

难度:入门 约 10 分钟 部署方式:命令行工具 6 步

环境要求

  • Python 3.10 或更高版本
  • ffmpeg 已安装并在 PATH 中
  • uv(推荐,README 提供一键安装脚本;也可用 pip 代替)
  • Together API Key(在 https://api.together.ai 获取)

安装与启动步骤

  1. 1安装 uv

    README 推荐用 uv 管理该工具,若已安装 uv 可跳过这一步。安装脚本执行后需重开终端或按提示配置 PATH。

    curl -LsSf https://astral.sh/uv/install.sh | sh
  2. 2安装 violin

    推荐用 uv tool install,安装更快且环境隔离;也可改用 pip 装进当前 Python 环境,二选一即可。

    uv tool install violin
  3. 3配置 API 密钥

    设置 Together API Key 供转录、翻译、配音各阶段调用。写入 ~/.zshrc 可持久生效,重启后无需重复导出。

    export TOGETHER_API_KEY=tk-xxxxxxxxxxxxxxxx
  4. 4用 CLI 翻译视频

    第一个参数是输入视频,第二个是输出文件,--language 指定目标语言(如 Chinese)。README 示例用 lecture.mp4。

    violin lecture.mp4 lecture_zh.mp4 --language Chinese
  5. 5启动 Web 应用

    violin-api 会拉起 FastAPI 的 REST 接口和浏览器界面,启动后在浏览器打开本地地址即可上传视频。

    violin-api
  6. 6自定义配置(可选)

    写自己的 YAML 并用 --config 传入,只需写想改的键,其余值会与内置默认配置深度合并。

    violin lecture.mp4 lecture_zh.mp4 --language Chinese --config my.yaml

关键配置

配置项必填说明示例
TOGETHER_API_KEY是调用转录、翻译、配音等阶段的 API 密钥tk-xxxxxxxxxxxxxxxx
--language否指定目标语言,README 支持 33 种目标语言Chinese
--config否传入自定义 YAML,覆盖内置默认配置my.yaml

如何确认成功

执行 CLI 命令后目录中出现 lecture_zh.mp4,即为配音合成成功;运行 violin-api 则看到服务启动并可在浏览器打开界面。

常见问题

Q:没有 uv 怎么办?

A:可以用 pip install violin 直接装进当前 Python 环境,README 明确说明这是替代方案,功能一致。

Q:运行时报找不到 ffmpeg?

A:violin 依赖 ffmpeg 做音频与视频合成,必须先安装 ffmpeg 并确保它在系统 PATH 中可被调用。

Q:从 git 仓库跑而不是 PyPI 安装呢?

A:README 说明:用 uv run main.py 代替 violin,用 uv run run_api.py 代替 violin-api。

Q:不想本地安装可以试吗?

A:可以。官网 https://www.violin-ai.com 提供在线 demo,上传短片几分钟即可拿到配音视频。

注意事项

  • API 密钥属于敏感信息,README 建议写入 ~/.zshrc 持久保存,注意不要提交到代码仓库。
  • 目标语言共 33 种,其中 16 种常用语言配有精选母语级音色。
  • 6 种风格档位(standard / kids / academic / casual / storyteller / news)标注为实验性功能。
  • 各阶段服务商(Together / OpenAI / ElevenLabs)可插拔替换,通过同一份 YAML 配置切换。

核心亮点

  • 集成 ASR、翻译和配音,全流程自动化,无需人工剪辑
  • 基于 agent-skills 设计,易于嵌入现有 AI 智能体或工作流
  • 支持多语言,输出字幕与配音同步,保持原视频节奏

不足之处

  • 文档/社区待观察
  • 依赖第三方 ASR/配音服务,可能产生额外成本或延迟

适用场景

  • 视频博主快速制作多语言版本,扩大海外受众
  • 企业培训视频本地化,降低翻译外包成本
  • 影视或课程内容的多语言配音与字幕生成

替代项目

VideoLingo、pyvideotrans、SeamlessM4T

上一篇:omnisim

下一篇:ImageTrans-docs

同类项目推荐

xmgai-like 开源

换脸、艺术二维码随手玩,副业灵感一包带走。

本开源 AI 副业搞钱项目集成了强大功能,包括 AI 艺术二维码生成、AI 换脸、Delle3 绘画等···

★ 59 2026-08-09
spoken-to-signed-translation 开源

把口语文本一路转成手语视频的流水线

a text-to-gloss-to-pose-to-video pipeline for spoken to signed language translation

★ 104 2026-09-11
hub 开源

已退役的YOLO训练平台,迁移到Ultralytics Platform

Historical Ultralytics HUB repository — HUB shut down on July 31, 2026 and was repl···

★ 249 2026-08-12