spoken-to-signed-translation

把口语文本一路转成手语视频的流水线

spoken-to-signed-translation 是一个面向口语到手语翻译的开源流水线,将语音或文本先转写为口语文本,再经过文本到手语注释(gloss)的机器翻译,接着把 gloss 序列映射为骨骼姿态(pose),最终渲染成手语视频。它解决的核心问题是手语翻译缺乏端到端可复现工具链:传统方案要么只做文本翻译,要么依赖昂贵的动作捕捉数据。项目把多个阶段解耦成可替换模块,方便研究者分别优化翻译模型、姿态生成和视频合成。核心能力包括基于机器翻译的 gloss 生成、姿态序列预测、以及从姿态到视频的渲染管线,适合作为手语生成研究的基线框架。

开源 unknown 行业应用
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 101
维护状态 活跃
是否开源
定价模式 unknown

项目数据

分类行业应用
开发团队sign-language-processing
所属国家
定价模式unknown
价格说明定价信息待确认
访问状态
是否开源
开源协议MIT
主要语言Python
技术栈/模型machine-translation,sign-language
GitHub 星标★ 101
30天Star增速
HF 下载量
上线时间2023-05-15 00:00:00
最近更新2026-09-18 00:00:00
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-09-11
浏览次数14

使用教程

核心亮点

  • 提供文本→gloss→pose→video 的完整可运行管线,阶段解耦便于替换模块
  • 基于 Python 与机器翻译生态,方便复用现有 NLP 模型和姿态数据
  • 面向手语翻译这一低资源场景,填补端到端工具链空白

不足之处

  • 项目处于早期,星标少,文档与示例可能不完善
  • 手语语法和地域差异大,通用 gloss 与姿态映射的准确性待验证

适用场景

  • 手语教学辅助:把课堂口语内容自动生成手语演示视频
  • 无障碍服务:为听障用户将文字通知转为手语动画
  • 手语生成研究:作为基线管线快速对比不同翻译与姿态模型

替代项目

OpenHands、SignWriting、How2Sign

项目介绍

spoken-to-signed-translation 是行业应用领域的开源项目,由 sign-language-processing 开发,2023 年首次发布。

它收录于行业应用分类,该分类目前共有 532 个项目,GitHub 星标数为 101。

项目目前处于活跃维护状态,最近一次代码更新于 2026-09-18。从国内网络环境看,可直接访问。

它主要面向的使用场景是:手语教学辅助:把课堂口语内容自动生成手语演示视频。同类可对比的替代方案包括 OpenHands、SignWriting、How2Sign。

上一篇:ImageTrans-docs

下一篇:zhilv-yuntu

同类项目推荐

xmgai-like 开源

换脸、艺术二维码随手玩,副业灵感一包带走。

本开源 AI 副业搞钱项目集成了强大功能,包括 AI 艺术二维码生成、AI 换脸、Delle3 绘画等···

★ 60 2026-08-09
spoken-to-signed-translation 开源

把口语文本一路转成手语视频的流水线

a text-to-gloss-to-pose-to-video pipeline for spoken to signed language translation

★ 101 2026-09-11
LiveTranslate 开源

直播看片实时翻译,字幕秒出,跨语言无压力

Real-time audio translation, captures system audio + mic, runs ASR (Whisper/SenseVoi···

★ 681 2026-08-13