本地一键部署，让语音和 LLM 推理服务秒级上线
Willow 是一个开源的、本地自托管的语言推理服务器，专注于音频和语音场景，同时支持 ASR/STT、TTS 和 LLM 推理。它解决了在本地环境中高效部署多种 AI 模型的问题，强调隐私保护和低延迟。核心能力包括：通过 WebRTC、REST 和 WebSocket 提供实时语音交互接口，集成 Whisper 等语音识别模型和 Vicuna 等 LLM，并针对 CUDA 和深度学习推理进行了优化。项目采用 Python 编写，适合开发者构建私有语音助手、实时转录系统等应用。
Whisper.cpp、Coqui TTS、vLLM
willow-inference-server 是基础设施领域的开源项目，由 toverainc 开发，2023 年首次发布。
它收录于基础设施分类，该分类目前共有 1,132 个项目，GitHub 星标数为 510。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-16。Apache-2.0 许可证，可免费自托管部署，无付费版本。
它主要面向的使用场景是：构建私有语音助手或智能家居控制中枢。同类可对比的替代方案包括 Whisper.cpp、Coqui TTS、vLLM。
上一篇：vllm-mlx
下一篇：vonage-node-sdk
freebuff-proxy
开源
聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。
Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···
microduck
开源
用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。
A Tiny biped duck robot
soperator
开源
用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。
Run Slurm in Kubernetes
ollama
开源
一条命令本地跑起大模型，免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···
