项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 122
核心亮点
- 统一接口封装 LLM/ASR/TTS/OCR 等模型，降低集成成本
- 支持 Docker 部署，简化环境配置和依赖管理
- 模块化设计，便于扩展新模型类型
不足之处
- 文档/社区待观察
- 早期项目，功能完整性和稳定性未经大规模验证
适用场景
- 本地私有化多模态 AI 助手开发
- 智能客服系统集成语音和文本理解
- 视频内容自动生成字幕和描述
替代项目
LocalAI、Ollama、Hugging Face Transformers
上一篇：mlx-omni-server
下一篇：AIStudio2API
同类项目推荐
graphjin
开源
给AI代理一个统一数据入口，安全读写数据库和API
One governed graph for AI agents — GraphQL + MCP over your databases, files, APIs, ···
plano
开源
为智能体应用打造的高性能 AI 原生网关，一键搞定路由、监控与安全。
Plano is an AI-native proxy server and data plane for agentic apps. Smart LLM routin···
station
开源
自托管智能体运行时，让 AI 部署完全可控
Station is our open-source runtime that lets teams deploy agents on their own infras···
ThinkWatch
开源
给企业 AI 接入装上安全闸门，统一管控、审计、控费
Self-hosted AI API and MCP gateway for organizations: SSO and RBAC, per-user identit···
agent-infer
开源
基于 vLLM 的智能体推理后端，多轮工具调用更省心
vLLM based inference framework for agentic workload.
skops
开源
一键分享和部署 scikit-learn 模型，告别 pickle 混乱
skops is a Python library helping you share your scikit-learn based models and put t···
llama3.java
开源
纯 Java 跑 Llama 3，不装 Python 也能本地推理
Llama 3+ inference in pure Java
chromem-go
开源
Go 项目内嵌向量数据库，零依赖实现本地语义搜索
Embeddable vector database for Go with Chroma-like interface and zero third-party de···
cache-dit
开源
让大 DiT 模型在有限显存下跑得更快更省
A PyTorch-native inference engine with cache, parallelism, quantization and cpu offl···