AI-Waifu-Vtuber

让二次元角色替你在直播中实时聊天互动

AI-Waifu-Vtuber 是一个面向直播场景的开源虚拟主播解决方案,旨在让创作者通过 AI 驱动的二次元角色在 YouTube 或 Twitch 上实时互动。它解决了传统 Vtuber 需要真人配音、手动回复弹幕的痛点,将语音识别(Whisper)、对话生成(OpenAI)、语音合成(Voicevox/TTS)和 Live2D 模型驱动无缝集成,实现观众弹幕触发 AI 角色自然对话和表情动作反馈。项目基于 Python,支持多语言(通过 DeepL 翻译),可定制角色人设和声音,并兼容主流直播平台。其核心能力包括实时语音交互、低延迟响应、情绪化表达和可扩展的插件架构,适合个人开发者快速搭建个性化 AI 直播分身,或用于研究多模态人机交互。

开源 free 音频音乐
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 1117
维护状态 低维护
是否开源
定价模式 free

项目数据

分类音频音乐
开发团队ardha27
所属国家
官网地址
定价模式free
价格说明开源项目,可自行部署,无内置付费功能,但依赖的API(如OpenAI、DeepL)可能需自费。
访问状态
是否开源
开源协议
主要语言Python
技术栈/模型ai-vtuber,ai-waifu,deepl,openai,speech-recognition,speech-synthesis,speech-to-text,tts,voicevox,vtuber,whisper
GitHub 星标★ 1117
30天Star增速
HF 下载量
上线时间2023-03-11 00:00:00
最近更新2026-09-22 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数4

使用教程

难度:进阶 约 30 分钟 部署方式:本地安装 8 步

环境要求

  • 已安装 Python 环境(项目基于 Python,需能执行 pip)
  • OpenAI API Key(用于对话生成)
  • Twitch 直播场景需申请 OAuth Token(https://twitchapps.com/tmi/)
  • 日语语音需 VoiceVox Engine(官方 Docker 镜像或 Colab 笔记本)
  • 其他语言语音可改用 Silero TTS,翻译可选用 DeepL / DeepLX

安装与启动步骤

  1. 1获取项目代码

    从 GitHub 克隆项目到本地,进入项目根目录后再执行后续安装。仓库地址取自项目 GitHub 页。

    git clone https://github.com/ardha27/AI-Waifu-Vtuber.git
    cd AI-Waifu-Vtuber
  2. 2安装依赖

    在项目根目录执行,requirements.txt 会一次性装上所需 Python 依赖。建议先建虚拟环境隔离开。

    pip install -r requirements.txt
  3. 3创建配置文件

    新建 config.py,按 README 填入 OpenAI API Key 和主人名字,二者是必填项。

    api_key = 'sk-xxxxxxxx'
    owner_name = "Ardha"
  4. 4设置直播黑名单

    若要用于直播,在 run.py 里维护一份不想回复的用户名单,避免机器人账号刷屏被复读。

    blacklist = ["Nightbot", "streamelements"]
  5. 5编辑角色人设

    修改 characterConfig/Pina/identity.txt,写入你希望 AI 角色的设定与说话风格。

  6. 6配置 Twitch(可选)

    想读 Twitch 弹幕就改 utils/twitch_config.py,token 从 twitchapps.com/tmi 获取;之后用 Mode 3 启动。

    server = 'irc.chat.twitch.tv'
    port = 6667
    nickname = 'testing'
    token = 'oauth:43rip6j6fgio8n5xly1oum1lph8ikl1'
    user = 'ardha27'
    channel = '#aikohound'
  7. 7切换 TTS 引擎

    在 run.py 中通过注释/取消注释在两个 TTS 之间切换:voicevox_tts 为日语,seliro_tts 支持多语言。

    # voicevox_tts
    seliro_tts
  8. 8启动程序

    运行主程序,按提示选择模式;Twitch 直播场景选 Mode - 3。README 未给出显式启动命令。

    python run.py

关键配置

配置项必填说明示例
api_keyOpenAI API Key,用于生成角色回复sk-xxxxxxxx
owner_name主人/主播名字,AI 会以此称呼你Ardha
blacklist直播时不回复的机器人用户名列表["Nightbot", "streamelements"]
serverTwitch IRC 服务器地址irc.chat.twitch.tv
tokenTwitch 聊天 OAuth 令牌oauth:43rip6j6fgio8n5xly1oum1lph8ikl1
channel要读取弹幕的 Twitch 频道#aikohound

如何确认成功

程序无报错运行,对它说话能被识别并得到语音回复;Twitch 模式下能读取并回复弹幕。

常见问题

Q:不想用 VoiceVox 可以吗?

A:可以。run.py 中把 voicevox_tts 注释掉、启用 seliro_tts,即可改用 Silero TTS,支持俄语、英语、德语、西班牙语、法语、印地语等多种语言。

Q:怎么让它用在 Twitch 直播?

A:先改 utils/twitch_config.py 填入 server/port/token/user/channel,再从 twitchapps.com/tmi 拿 token,最后用 Mode - 3 启动程序。

Q:怎么改角色性格和设定?

A:编辑 characterConfig/Pina/identity.txt,把里面的人设文本替换成你想要的角色设定与语气即可。

Q:DeepL 在项目里做什么用?

A:用于多语言翻译,让角色能在非日语环境下理解并回复观众,可配合 DeepLX 或 DeepL 官方账号使用。

Q:怎么让机器人不回复某些账号?

A:直播时在 run.py 的 blacklist 列表里加入这些用户名,例如 Nightbot 和 streamelements。

注意事项

  • README 未给出明确的启动命令,此处以 python run.py 为准,实际请以仓库最新说明为准。
  • VoiceVox 与 Silero 的切换靠 run.py 内注释/取消注释,切错会没有语音输出。
  • config.py 中的 API Key 与 Twitch token 属于敏感信息,不要提交到公开仓库。
  • Twitch 配置项在 README 中 key 名为 user,不是 username,注意不要写错。

核心亮点

  • 全流程自动化:从弹幕识别到语音回复再到角色动画,无需人工干预
  • 多语言支持:内置 DeepL 翻译,可跨语言与观众交流
  • 模块化设计:语音识别、对话、合成各环节可替换,便于定制

不足之处

  • 依赖多个外部 API(OpenAI、DeepL),可能产生持续费用
  • 文档/社区待观察

适用场景

  • 个人主播打造 AI 虚拟形象,降低直播门槛
  • 企业品牌用虚拟角色进行 24 小时互动营销
  • 教育场景中模拟外语对话练习

替代项目

VTuber AI、Neuro-sama、Live2D 看板娘

项目介绍

AI-Waifu-Vtuber 是数字人3D领域的开源项目,由 ardha27 开发,2023 年首次发布。

在全站 13,014 个收录项目中,它的 GitHub 星标数(1,117)位列前 30%,在数字人3D分类中处于中上游。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-09-22。可自行部署,无内置付费功能,但依赖的API(如OpenAI、DeepL)可能需自费。

它主要面向的使用场景是:个人主播打造AI虚拟形象,降低直播门槛。同类可对比的替代方案包括 VTuber AI、Neuro-sama、Live2D 看板娘。

上一篇:Meuxe

下一篇:ZerolanLiveRobot

同类项目推荐

A3D 开源

在 three.js 里直接调用 AI 生成纹理和素材,边建模边生成

3D x AI hybrid editor, built with three.js

★ 129 2026-08-09
cube 开源

用一句话生成 3D 模型,在 Roblox 里快速落地 AI 创作

Roblox Foundation Model for 3D Intelligence

★ 1254 2026-08-09
AG3D 开源

用2D图片直接生成3D虚拟人,告别昂贵扫描

Official code release for ICCV2023 paper AG3D: Learning to Generate 3D Avatars from ···

★ 273 2026-08-09
GameFactory-3A 开源

一条命令生成 3A 游戏资产,从模型到视频全自动

A comprehensive open-source 3A game-generation skill and asset framework.

★ 778 2026-08-21