willow-inference-server
本地一键部署，让语音和 LLM 推理服务秒级上线
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 511
技术标签
使用教程
环境要求
- Linux
- NVIDIA 显卡
- 语音硬件（可选）
安装与启动步骤
-
1拉仓库
它自带依赖安装脚本。
git clone https://github.com/toverainc/willow-inference-server.git -
2装系统依赖
脚本按发行版装。
./deps/ubuntu.sh -
3装服务本体
统一入口是工具脚本，别单独调内部命令。
./utils.sh install -
4生成证书
局域网内走加密要证书，填对主机名。
./utils.sh gen-cert your-hostname -
5起服务
起来后用配套硬件或客户端连。
./utils.sh run
如何确认成功
服务起来后能用配套硬件或浏览器客户端完成一次语音请求，识别与合成结果均正确
注意事项
- 它是给开源语音硬件配套的本地推理服务，识别与合成都跑在本机。
- 统一用工具脚本管安装与启动，别绕过它。
- 局域网加密需要自签证书，主机名填错连不上。
- 显存不够时可在配置里换小模型。
核心亮点
- 统一支持 ASR、TTS、LLM，减少多服务集成成本
- 原生支持 WebRTC，适合低延迟实时语音交互
- 自托管设计，数据不出本地，隐私保护到位
不足之处
- 早期项目，文档和社区生态待观察
- 主要面向技术用户，部署配置门槛较高
适用场景
- 构建私有语音助手或智能家居控制中枢
- 实时会议转录与字幕生成服务
- 本地化 LLM 推理网关，统一管理多种模型
替代项目
Whisper.cpp、Coqui TTS、vLLM
上一篇：vllm-mlx
下一篇：vonage-node-sdk
同类项目推荐
spacy-layout
开源
让 spaCy 看懂 PDF 和 Word 的版面结构，直接用于 NLP 流程。
Process PDFs, Word documents and more with spaCy
gguf-parser-go
开源
解析 GGUF 文件，算清显存占用和推理速度
Review/Check GGUF files and estimate the memory usage and maximum tokens per second.
dualmark
开源
一个页面，两种形态，让 AI 和人类都能读懂你的内容。
Open-source AEO (Answer Engine Optimization) infrastructure — every page, dual-mark···
luminal
开源
Rust 写的轻量推理引擎，模型跑得更快更省
Inference at the speed of light.
GenieX
开源
一行代码让高通设备跑起前沿大模型，离线AI轻松实现
Run frontier LLMs and VLMs locally on Qualcomm devices across NPU, GPU, and CPU with···
OM1
开源
让机器人开发像拼积木，硬件接口统一，AI 接入即插即用。
Modular AI HAL (Hardware Abstraction Layer) for Robots
coai
开源
一个后台管所有 AI 模型，自动计费与路由，省心省钱
Next Gen Multi-tenant AI One-Stop Solution. Builtin Admin & Billing System. Enterpri···
memory-lancedb-pro
开源
让智能体记忆更准、更清晰，开箱即用的混合检索与管理工具。
Enhanced LanceDB memory plugin for OpenClaw — Hybrid Retrieval (Vector + BM25), Cro···
surprisal
开源
统一接口，一键计算任意语言模型的惊异度
A unified interface for computing surprisal (log probabilities) from language models···