AI-Waifu-Vtuber

让二次元角色替你在直播中实时聊天互动

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 音频音乐 🍴 复刻 179 🐛 待处理 43 👀 关注 25
GitHub ↗
GitHub 星标 ★ 1123
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,可自行部署,无内置付费功能,但依赖的API(如OpenAI、DeepL)可能需自费。

项目预览

AI-Waifu-Vtuber 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队ardha27
定价模式🏷️完全免费
价格说明开源项目,可自行部署,无内置付费功能,但依赖的API(如OpenAI、DeepL)可能需自费。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
主要语言Python
技术栈/模型ai-vtuber,ai-waifu,deepl,openai,speech-recognition,speech-synthesis,speech-to-text,tts,voicevox,vtuber,whisper
GitHub 星标★ 1123
上线时间2023-03-11 00:00:00
代码更新2026-05-31
仓库体积6.4 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数5

项目介绍

AI-Waifu-Vtuber 是一个面向直播场景的开源虚拟主播解决方案,旨在让创作者通过 AI 驱动的二次元角色在 YouTube 或 Twitch 上实时互动。它解决了传统 Vtuber 需要真人配音、手动回复弹幕的痛点,将语音识别(Whisper)、对话生成(OpenAI)、语音合成(Voicevox/TTS)和 Live2D 模型驱动无缝集成,实现观众弹幕触发 AI 角色自然对话和表情动作反馈。项目基于 Python,支持多语言(通过 DeepL 翻译),可定制角色人设和声音,并兼容主流直播平台。其核心能力包括实时语音交互、低延迟响应、情绪化表达和可扩展的插件架构,适合个人开发者快速搭建个性化 AI 直播分身,或用于研究多模态人机交互。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1123

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:进阶 约 30 分钟 部署方式:本地安装 8 步

环境要求

  • 已安装 Python 环境(项目基于 Python,需能执行 pip)
  • OpenAI API Key(用于对话生成)
  • Twitch 直播场景需申请 OAuth Token(https://twitchapps.com/tmi/)
  • 日语语音需 VoiceVox Engine(官方 Docker 镜像或 Colab 笔记本)
  • 其他语言语音可改用 Silero TTS,翻译可选用 DeepL / DeepLX

安装与启动步骤

  1. 1获取项目代码

    从 GitHub 克隆项目到本地,进入项目根目录后再执行后续安装。仓库地址取自项目 GitHub 页。

    git clone https://github.com/ardha27/AI-Waifu-Vtuber.git
    cd AI-Waifu-Vtuber
  2. 2安装依赖

    在项目根目录执行,requirements.txt 会一次性装上所需 Python 依赖。建议先建虚拟环境隔离开。

    pip install -r requirements.txt
  3. 3创建配置文件

    新建 config.py,按 README 填入 OpenAI API Key 和主人名字,二者是必填项。

    api_key = 'sk-xxxxxxxx'
    owner_name = "Ardha"
  4. 4设置直播黑名单

    若要用于直播,在 run.py 里维护一份不想回复的用户名单,避免机器人账号刷屏被复读。

    blacklist = ["Nightbot", "streamelements"]
  5. 5编辑角色人设

    修改 characterConfig/Pina/identity.txt,写入你希望 AI 角色的设定与说话风格。

  6. 6配置 Twitch(可选)

    想读 Twitch 弹幕就改 utils/twitch_config.py,token 从 twitchapps.com/tmi 获取;之后用 Mode 3 启动。

    server = 'irc.chat.twitch.tv'
    port = 6667
    nickname = 'testing'
    token = 'oauth:43rip6j6fgio8n5xly1oum1lph8ikl1'
    user = 'ardha27'
    channel = '#aikohound'
  7. 7切换 TTS 引擎

    在 run.py 中通过注释/取消注释在两个 TTS 之间切换:voicevox_tts 为日语,seliro_tts 支持多语言。

    # voicevox_tts
    seliro_tts
  8. 8启动程序

    运行主程序,按提示选择模式;Twitch 直播场景选 Mode - 3。README 未给出显式启动命令。

    python run.py

关键配置

配置项必填说明示例
api_key是OpenAI API Key,用于生成角色回复sk-xxxxxxxx
owner_name是主人/主播名字,AI 会以此称呼你Ardha
blacklist否直播时不回复的机器人用户名列表["Nightbot", "streamelements"]
server否Twitch IRC 服务器地址irc.chat.twitch.tv
token否Twitch 聊天 OAuth 令牌oauth:43rip6j6fgio8n5xly1oum1lph8ikl1
channel否要读取弹幕的 Twitch 频道#aikohound

如何确认成功

程序无报错运行,对它说话能被识别并得到语音回复;Twitch 模式下能读取并回复弹幕。

常见问题

Q:不想用 VoiceVox 可以吗?

A:可以。run.py 中把 voicevox_tts 注释掉、启用 seliro_tts,即可改用 Silero TTS,支持俄语、英语、德语、西班牙语、法语、印地语等多种语言。

Q:怎么让它用在 Twitch 直播?

A:先改 utils/twitch_config.py 填入 server/port/token/user/channel,再从 twitchapps.com/tmi 拿 token,最后用 Mode - 3 启动程序。

Q:怎么改角色性格和设定?

A:编辑 characterConfig/Pina/identity.txt,把里面的人设文本替换成你想要的角色设定与语气即可。

Q:DeepL 在项目里做什么用?

A:用于多语言翻译,让角色能在非日语环境下理解并回复观众,可配合 DeepLX 或 DeepL 官方账号使用。

Q:怎么让机器人不回复某些账号?

A:直播时在 run.py 的 blacklist 列表里加入这些用户名,例如 Nightbot 和 streamelements。

注意事项

  • README 未给出明确的启动命令,此处以 python run.py 为准,实际请以仓库最新说明为准。
  • VoiceVox 与 Silero 的切换靠 run.py 内注释/取消注释,切错会没有语音输出。
  • config.py 中的 API Key 与 Twitch token 属于敏感信息,不要提交到公开仓库。
  • Twitch 配置项在 README 中 key 名为 user,不是 username,注意不要写错。

核心亮点

  • 全流程自动化:从弹幕识别到语音回复再到角色动画,无需人工干预
  • 多语言支持:内置 DeepL 翻译,可跨语言与观众交流
  • 模块化设计:语音识别、对话、合成各环节可替换,便于定制

不足之处

  • 依赖多个外部 API(OpenAI、DeepL),可能产生持续费用
  • 文档/社区待观察

适用场景

  • 个人主播打造 AI 虚拟形象,降低直播门槛
  • 企业品牌用虚拟角色进行 24 小时互动营销
  • 教育场景中模拟外语对话练习

替代项目

VTuber AI、Neuro-sama、Live2D 看板娘

上一篇:Meuxe

下一篇:ZerolanLiveRobot

同类项目推荐

HeadSculpt 开源

输入一句话,快速生成可编辑的 3D 头部头像

[NeurIPS 2023] HeadSculpt: Crafting 3D Head Avatars with Text

★ 116 2026-08-09
ai-office 开源

走进 3D 办公室,AI 同事工作开会全程现场直击

Explore a 3D AI office where agents work, walk, talk, and meet in a React and Three.···

★ 1 2026-08-09
Holodeck 开源

输入一句话,自动生成 3D 室内环境,助力具身 AI 研究。

CVPR 2024: Language Guided Generation of 3D Embodied AI Environments.

★ 581 2026-08-09
forgent3d-desktop 开源

说句话就生成可编辑的 3D CAD 模型

Maintenance mode: bug fixes only, no new features. Lighter option, no app to install···

★ 255 2026-10-30
Meuxe 开源

让AI伴侣拥有动漫形象,实时表情语音互动

A companion that lives on your desktop. Remembers you, talks back, and stays on your···

★ 79 2026-08-09
SculptForge 开源

免费开源 3D 雕刻,AI 生成模型直送 Unreal

Free, open-source 3D sculpting for Linux, macOS and Windows: dense meshes, remeshing···

★ 628 2026-11-07
XnneHangLab 开源

给虚拟老婆装上耳朵和嘴巴,还能记住你们的事

希望用代码为 waifus 绘心。

★ 101 2026-08-09
avatar-mix 开源

一键生成数字人短视频并自动发布到全网

Generate 16:9 & 9:16 videos with your HeyGen avatar, animated backgrounds (HyperFram···

★ 138 2026-08-09
AI-Waifu-Vtuber 开源

让二次元角色替你在直播中实时聊天互动

AI Vtuber for Streaming on Youtube/Twitch

★ 1123 2026-08-09