storyteller

输入故事文本,自动生成配图、旁白和语音,一键产出多媒体故事。

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 图像生成 🍴 复刻 69 👀 关注 12
GitHub ↗
GitHub 星标 ★ 536
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,可免费使用和部署,无在线服务。

项目预览

storyteller 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类图像生成
开发团队jaketae
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,可免费使用和部署,无在线服务。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型ddpm,diffusion-models,gpt,image-generation,natural-language-generation,pytorch,stable-diffusion,text-to-image,text-to-speech,text-to-video,video-generation
GitHub 星标★ 536
上线时间2022-12-30 00:00:00
代码更新2023-08-29
仓库体积4.7 MB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数2

项目介绍

storyteller 是一个多模态 AI 故事生成器,结合 Stable Diffusion、GPT 和神经文本转语音技术,将文字故事自动转化为图文并茂、带语音朗读的多媒体内容。它解决的是从纯文本到完整故事体验的创作流程问题,用户只需输入故事文本,系统即可生成配图、旁白和语音,适用于儿童读物、有声书、教育内容等场景。核心能力包括基于扩散模型的文本到图像生成、基于 GPT 的文本理解和扩展,以及神经 TTS 的语音合成,形成一个端到端的自动化故事创作管线。项目基于 PyTorch 构建,集成了多种生成模型,展示了多模态 AI 的整合潜力。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 536

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:进阶 约 50 分钟 部署方式:本地GPU 5 步

环境要求

  • Python 3.10+
  • 图像与文本模型凭据

安装与启动步骤

  1. 1装 CLI

    有现成的包,先装上。

    pip install storyteller-core
  2. 2配三样东西

    图像模型、文本模型、语音合成各要一项配置。

  3. 3生成第一个故事

    一条命令串起文生图、配音和拼接。

    storyteller --help
  4. 4调分镜数量

    镜头切太碎会更像幻灯片,长度要自己试。

  5. 5看输出结构

    它会把中间产物都留下,方便单独替换某一段。

如何确认成功

用一句主题生成一个完整故事视频,画面、旁白与字幕三者在时间轴上对得上

注意事项

  • 它把文生图、大模型写故事、语音合成拼成一条流水线。
  • 三段能力各自可替换,中间产物保留是它的优点。
  • 画面一致性是这类方案的老问题,同一角色跨镜头容易变形。
  • 成本主要来自图像生成次数,分镜数要克制。

核心亮点

  • 整合图像、文本、语音三种生成能力,实现从文本到完整多媒体故事的一站式生成
  • 基于 Stable Diffusion 和 GPT 等成熟模型,生成质量有保障
  • 代码结构清晰,便于二次开发和扩展新功能

不足之处

  • 文档/社区待观察
  • 依赖多个大型模型,部署和运行资源要求较高

适用场景

  • 儿童故事书自动配图和配音
  • 有声书制作,快速生成插图与旁白
  • 教育内容创作,将文本课程转化为多媒体形式

替代项目

StoryDiffusion、Text-to-Video 项目(如 ModelScope)、DALL·E + TTS 组合方案

同类项目推荐

LTX-Video 开源

一句话或一张图,高清视频马上来

Official repository for LTX-Video

★ 11352 2026-08-09
HumanVid 开源

用UE5合成数据,低成本生成高质量可控人体视频

[NeurIPS D&B Track 2024] Official implementation of HumanVid

★ 351 2026-08-09
agnes-video-generator 开源

免费自托管,文本一键生成带旁白字幕的数字人视频

Open-source, self-hosted AI video generator — completely free. Text to multi-scene ···

★ 677 2026-08-09
MimicMotion 开源

上传一张照片和动作序列,生成逼真的人物动态视频

High-Quality Human Motion Video Generation with Confidence-aware Pose Guidance

★ 2690 2026-08-09
MIMO 开源

上传一张图,用姿态驱动角色动起来,还能换背景

Official implementation of "MIMO: Controllable Character Video Synthesis with Spatia···

★ 1578 2026-08-09
qiaomu-cut-skill 开源

让 AI 自动当导演,素材到成片一键可复现

乔木智能视频导演 Skill:素材治理、双语字幕、品牌包装与可复现渲染 | Agent-native vide···

★ 380 2026-08-09
Storyblocks 开源

输入文字提示,自动生成带画面的故事视频

✨ Experience the enchantment of Story Blocks: an open-source project merging AI tex···

★ 73 2026-08-09
claude-shorts 开源

长视频一键变爆款短视频,AI 自动选段加字幕

Interactive longform-to-shortform video creator — Claude Code skill with Remotion-r···

★ 368 2026-08-09