项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 581
技术标签
使用教程
环境要求
- 包管理器或容器
- 模型凭据
安装与启动步骤
-
1装命令行
本地模型网关，统一各家接口。
brew install llmmanorg/tap/llmman -
2或走容器
不想装依赖就用镜像起。
docker run -p 127.0.0.1:17434:17434 -e LLMMAN_API_KEYS=<key> -v llmman:/root/.local/share/llmman --entrypoint llmman ai/llmman serve -
3把助手指过来
让编码助手用这个本地地址当模型端点。
-
4试一次带图请求
验证多模态链路通不通。
llmman run clef-flash --ask "Is this a receipt?" ./receipt.png -
5接本地推理
把本地推理服务也挂上来。
OLLAMA_HOST=127.0.0.1:17434 ollama run unsloth/Qwen3.5-0.8B-GGUF
如何确认成功
同一个编码助手在切换不同后端时行为一致，日志里能看到完整请求与耗时
注意事项
- 它做统一入口与路由，不训练模型。
- 密钥集中在网关，泄露面变大，只监听本地。
- 不同后端的参数支持不一致，跨后端要回归。
- 容器方式注意卷挂载，否则配置丢失。
核心亮点
- 用 OCI 镜像管理模型，天然获得版本化、可分发、可缓存的能力，比手动下载权重文件规范得多
- 统一抽象 llama.cpp、MLX、vLLM 等后端，切换推理引擎不用改 Agent 侧代码
- 支持 Claude Code、Codex、opencode 等 Agent 框架接任意模型，Agent 与模型解耦，方便做对比测试
不足之处
- 项目早期，生态和文档成熟度有限，部分后端集成可能不稳定
- OCI 存模型对镜像仓库带宽和存储要求较高，大模型场景下拉取成本明显
适用场景
- 本地同时跑多个推理后端，想统一管理模型文件和版本
- 把 Claude Code 或 Codex 这类 Agent 接到自部署模型上做离线使用
- 团队内共享模型资产，用镜像仓库分发而不是各自下载权重
替代项目
Ollama、LM Studio、llama.cpp
上一篇：1Cat-vLLM
下一篇：llm-scaler
同类项目推荐
ezdata
开源
连接 60+ 数据源，AI 自动查询、绘图、分析，让数据开口说话。
AI-native data platform: 60+ connectors, dlt-based ETL, DAG scheduling, per-source R···
VecturaKit
开源
在苹果设备上本地跑向量检索，构建隐私安全的 RAG 应用
Swift-based vector database for on-device RAG using MLTensor and MLX Embedders
LightLLM
开源
轻量部署 LLM，推理快人一步
LightLLM is a Python-based LLM (Large Language Model) inference and serving framewor···
docker-diffusers-api
开源
把 Stable Diffusion 装进 Docker，一行命令起 REST API，快速集成图像生成。
Diffusers / Stable Diffusion in docker with a REST API, supporting various models, p···
client
开源
用 Python 客户端轻松管理 DagsHub 上的数据和模型
DagsHub client libraries
redis-vl-python
开源
用 Redis 做向量检索，一套 Python 库搞定 AI 数据层
Redis Vector Library. The AI-native Python client for Redis.
speculators
开源
统一投机解码库，让 vLLM 推理更快更省
A unified library for building, evaluating, and storing speculative decoding algorit···
sd4j
开源
Java 里跑 Stable Diffusion，无需 Python，直接集成图像生成
Stable diffusion pipeline in Java using ONNX Runtime
mlop
开源
一键记录实验，轻松对比模型，让机器学习实验管理更高效
Next Generation Experimental Tracking for Machine Learning Operations