项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 3803
使用教程
环境要求
- 系统 Ubuntu 20.04.6 LTS,CUDA 12.2,显卡驱动 535.54.03
- 显卡 A100 / RTX4090 / RTX3090,内存最小 64G,磁盘 500G SSD
- Python 3.10 与 conda(版本 23.9.0 左右即可)
- docker 24.0.7 与 docker-compose 1.29.0
- LLM 服务显存:lelemiao-7b 约 16G(建议 40G 卡),4bit 版约 6.5G(可适配 24G 卡)
安装与启动步骤
-
1克隆项目代码
把仓库拉取到本地,后续所有构建与启动命令都在该目录内执行。
git clone https://github.com/PeterH0323/Streamer-Sales.git -
2构建镜像文件
进入项目目录并基于 docker/Dockerfile 构建 streamer-sales:v0.10.0 镜像。
cd Streamer-Sales docker build -t streamer-sales:v0.10.0 -f docker/Dockerfile . -
3启动容器服务
用 docker-compose 一键拉起后端服务;首次启动会自动下载模型,需耐心等待。
docker-compose up -
4创建虚拟环境
宿主机部署方式:用仓库自带 environment.yml 创建 streamer-sales 环境。
conda env create -f environment.yml -
5安装项目依赖
激活环境后按 requirements.txt 安装 Python 依赖;权重下载超时可参考 weights/README.md 自行下载。
conda activate streamer-sales pip install -r requirements.txt -
6启动语音类服务
TTS、数字人、ASR 三个服务各需单独开一个终端执行,前后端分离版本适用。
bash deploy.sh tts bash deploy.sh dg bash deploy.sh asr -
7启动大模型服务
默认部署 lelemiao-7b,建议 40G 显存;24G 显卡请改执行 bash deploy.sh llm-4bit。
bash deploy.sh llm -
8启动中台服务
需先配置数据库环境并设置密码,再用 deploy.sh base 启动中台服务。
export POSTGRES_PASSWORD="your_password" bash deploy.sh base
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
POSTGRES_PASSWORD | 是 | 中台服务连接的数据库密码,需自行填写 | your_password |
POSTGRES_SERVER | 否 | 数据库 IP 地址,按需配置 | 127.0.0.1 |
POSTGRES_DB | 否 | 数据库名称,按需配置 | streamer_sales_db |
device_ids | 否 | compose.yaml 中为每个服务指定显卡 ID | 0 |
USING_4BIT | 否 | 融合版本中设置使用 4bit 模型 | true |
KV_CACHE | 否 | 全部模型启动后剩余显存的 kv cache 占用比例 | 0.05 |
如何确认成功
查看 docker-compose 启动日志,所有服务均正常拉起且无 connect fail 报错即部署成功。
常见问题
Q:第一次启动提示服务之间 connect fail 怎么办?
A:首次启动需要下载模型,下载期间服务间连接可能失败,耐心等待模型下载完成后再重启服务即可。
Q:24G 显卡显存不够怎么办?
A:LLM 服务改用 bash deploy.sh llm-4bit 启动 4bit 模型;如果仍然 OOM,不启动 ASR 服务基本就没问题了。
Q:多张显卡如何指定每张卡跑哪个服务?
A:修改 compose.yaml 中的 device_ids,为每个服务分别配置所使用的显卡 ID。
Q:下载权重经常 timeout 怎么办?
A:参考 weights/README.md 中的权重文件结构说明,文档内提供了源模型超链接,可自行下载权重。
注意事项
- 中台服务依赖数据库环境,需先参考 doc/database/README.md 完成数据库搭建。
- 前端服务需先搭建前端环境,详见 doc/frontend/README.md,再执行 bash deploy.sh frontend。
- 前后端分离版本(> v0.7.1)中每个服务都要单独开一个终端启动。
- 想简单试玩可切到融合版本:git checkout v0.7.1 后再部署。
核心亮点
- 提供从数据生成到模型微调的完整流程,便于复现
- 集成 RAG、TTS、数字人、ASR 等模块,功能全面
- 支持 LMDeploy 加速推理,部署性能优化
不足之处
- 文档/社区待观察
- 依赖特定模型(如 InternLM),迁移其他基座需额外适配
适用场景
- 电商直播自动生成商品解说词
- 数字人直播带货内容生成
- 商品营销文案批量生产
替代项目
ChatGPT、通义千问、DeepSeek
下一篇:wppconnect
同类项目推荐
ai-healthcare-app
开源
把病历变成聊天框,随时问AI健康问题
:four_leaf_clover: Healthcare AI agent app that combines medical records with AI-ass···
FTShare-python-sdk
开源
一个 SDK 搞定金融数据接入,快速构建量化与 AI 投研应用
FTShare financial data Python SDK|通过 Python 和 pandas 接入基础金融数据与 FTShare ···
Threatswarm
开源
一条命令启动27个AI代理,自动跑完整个渗透测试流程
27 scope-enforced AI agents that run the full pentest kill-chain (recon → exploit →···
dnb-ai
开源
带经文出处的宗教问答后端,答不上来转学者复核
Islamic-knowledge AI service for DeenBridge — FastAPI + Gemini assistant with verif···
machine-learning-for-trading
开源
跟着书学用机器学习做量化交易,从数据到实盘一步到位
Code for Machine Learning for Trading, 3rd edition — from data sourcing to live exe···
generative-ai-use-cases
开源
在 AWS 上快速落地安全的生成式 AI 业务应用
Application implementation with business use cases for safely utilizing generative A···
KaliGPT
开源
说人话就能跑 Kali 命令,渗透测试提效
KaliGPT: an Agentic AI (built with Gemini, ChatGPT, Ollama, OpenRouter Models) fine ···
LLM-Assisted-Light
开源
用大模型当AI交警,让红绿灯学会随机应变
This repository contains the code for the paper "LLM-Assisted Light: Leveraging Larg···
OpenBB
开源
一个接口聚合全球金融数据,投研量化直接开跑
Open Data Platform for analysts, quants and AI agents.
