项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 177
技术标签
核心亮点
- 集成 Ollama、AnythingLLM、Whisper 等主流 AI 组件，开箱即用
- 支持 NVIDIA CUDA 加速和 amd64/arm64 多架构，性能与兼容性兼顾
- 模块化设计，可灵活裁剪，轻量部署，资源占用可控
不足之处
- 早期项目，文档和社区生态尚待完善
- 组件较多，初次配置和排障有一定学习成本
适用场景
- 个人开发者本地搭建 AI 开发测试环境
- 中小企业私有化部署 LLM 和语音服务，保障数据隐私
- 边缘设备或离线环境下的 AI 能力集成
替代项目
LocalAI、Ollama + Open WebUI、Dify
上一篇：vonage-node-sdk
下一篇：vox-serve
同类项目推荐
safe-openclaw
开源
给 AI 代理加上安全锁，防止未授权访问和数据泄露
Security-hardened openclaw with auth gateway, AES-256 encryption and session managem···
genai-factory
开源
用 Terraform 在 GCP 一键搭好安全的生成式 AI 底座
A collection of end-to-end infrastructure blueprints to deploy generative AI infrast···
moss
开源
不用向量数据库，10毫秒内搞定AI检索
The retrieval layer for production AI systems. Lightning-fast (<10ms) search without···
gateway
开源
给大模型装个防火墙，安全可控地接入 AI 应用
The Open Source Firewall for LLMs. A self-hosted gateway to secure and control AI ap···
JetStream
开源
在 TPU 上榨干每一分性能，让 LLM 推理更快更省内存
JetStream is a throughput and memory optimized engine for LLM inference on XLA devic···
mempalace
开源
给 AI 装上永久记忆，告别每次对话都失忆
The best-benchmarked open-source AI memory system. And it's free.
llm-d
开源
在 Kubernetes 上榨干 GPU，让 LLM 推理飞起来
State of the art inference performance with modern accelerators on Kubernetes
NeumAI
开源
一键搭建大规模向量数据管道，让 RAG 应用数据实时同步
Neum AI is a best-in-class framework to manage the creation and synchronization of v···
telnyx-code-examples
开源
拿来即用的 Telnyx 通信 API 示例，快速集成 AI 语音与短信。
Production-ready code examples for Telnyx AI Communications Infrastructure — Voice ···