项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-11-15 · 当前星标 ★ 150
核心亮点
- 原生多模态设计，文本图像等输入走统一通路，减少拼接式方案的额外开销
- 定位高性能推理引擎，关注调度与内存效率，适合对吞吐有要求的服务场景
- Python 实现，接入和二次开发门槛较低，便于快速验证多模态推理链路
不足之处
- 项目处于早期，星标约 150，生态与生产验证案例有限
- 文档与社区规模尚小，遇到问题可参考的资料较少
适用场景
- 搭建同时处理文本与图像输入的推理服务
- 为多模态模型做批处理与调度优化实验
- 在 Python 技术栈中快速验证多模态推理原型
替代项目
vLLM、SGLang、Triton Inference Server
上一篇：vpipe
下一篇：没有了！
同类项目推荐
hub
开源
用 Rust 打造的高性能 LLM 网关，自带监控，轻松管理大规模 AI 请求。
High-scale LLM gateway, written in Rust. OpenTelemetry-based observability included
esProc
开源
用 Java 生态的 SPL 语言，轻松搞定复杂数据计算。
esProc SPL is a JVM-based programming language designed for structured data computat···
traceAI
开源
给 AI 应用装上监控，追踪调用链和成本
Open Source AI Tracing Framework built on Opentelemetry for AI Applications and Fram···
eternal
开源
一个平台跑通多种 AI 模型，快速搭建图像生成工作流
Eternal is an experimental platform for machine learning models and workflows.
semantica
开源
知识串成图谱，AI 回答有据可查能追责
Graph-Native Infrastructure for Context and Accountable AI Systems
darwin
开源
一站式管理 ML 模型，从实验到上线更省心
ML Platform at Dream11
tensorcircuit-ng
开源
用AI框架跑量子模拟，自动微分+GPU加速，上手快
Next-gen AI-native tensor-network-based quantum software framework
claude-token-optimizer
开源
压缩提示词，立省 Claude API 费用
Cut the tokens Claude Code loads at session start. CLI that sets up a small CLAUDE.m···
vLLM-Kunlun
开源
让昆仑芯 XPU 直接跑起 vLLM 大模型推理服务
vLLM Kunlun (vllm-kunlun) is a community-maintained hardware plugin designed to seam···