项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 380
核心亮点
- 统一 API 封装，兼容 HuggingFace 生态，上手快
- 内置量化支持，降低本地推理显存占用
- 集成语音、向量库和 RAG，多模态场景开箱即用
不足之处
- 文档/社区待观察
- 早期项目，API 可能变动，稳定性待验证
适用场景
- 在本地或边缘设备部署量化 LLM 用于聊天或问答
- 构建多模态智能体，结合视觉和语音输入
- 利用 RAG 和向量数据库打造私有知识库问答系统
替代项目
llama.cpp、Ollama、vLLM
同类项目推荐
restai
开源
一键将多种AI模型封装为API，可视化搭建AI服务
RESTai is an AIaaS (AI as a Service) open-source platform. Supports many public and ···
IAGA-Sentinel
开源
给AI智能体装个哨兵，实时监控安全与行为
IAGA Sentinel sits next to your AI agents and answers the one question the agent its···
awesome-mlops
开源
一站式查遍 MLOps 工具，选型不再愁
A curated list of references for MLOps
paritok-4b-v1
开源
给编码问答先瘦身，速度翻倍还无损
Non-destructive compression gateway for AI coding agents. Cuts token bills 25% on tu···
kitchenai
开源
让AI团队像做菜一样，轻松管理模型和提示词，快速上线应用。
Open Source LLMOps tool for AI teams
Minimalistic-Comfy-Wrapper-WebUI
开源
给 ComfyUI 加个轻量推理面板，预设+队列，省心批量出图出音频
MCWW: Additional non-node based UI for ComfyUI focused on inference. Stable UI state···
Flash-Sparse-Attention
开源
让长序列注意力更快更省，即插即用替换标准注意力
Efficient implementations of Native Sparse Attention
sagemaker-genai-hosting-examples
开源
照着 Notebook 跑通大模型托管与推理
OctoBus
开源
给AI智能体装上安全闸门，只放行企业批准的API调用。
A secure local gateway for AI agents to reliably call approved enterprise APIs, tool···