项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-10-28 · 当前星标 ★ 242
核心亮点
- 将 attention 与 FFN 解耦执行，支持两段计算独立调度与流水并行
- 以插件形式接入 vLLM，尽量不侵入原有推理主流程
- 复用 vLLM 的调度与 KV Cache 机制，降低改造门槛
不足之处
- 早期项目，接口与实现仍在演进，稳定性待验证
- 文档与示例相对有限，上手需要熟悉 vLLM 内部结构
- 分离部署带来跨进程通信开销，收益依赖具体负载与硬件
适用场景
- 大模型推理服务中拆分 attention 与 FFN 以提升吞吐
- 异构 GPU 或混合算力环境下的推理资源编排
- 分离式推理架构的研究与实验验证
替代项目
vLLM、SGLang、TensorRT-LLM
上一篇：humming
同类项目推荐
chitu
开源
让大模型推理更快更省，轻松部署高并发服务
High-performance inference framework for large language models, focusing on efficien···
bacalhau
开源
把计算搬到数据身边，省时省钱跑批处理
Community-driven, simple, yet powerful framework for fast, cost-effective distribute···
pawwake
开源
给任意 LLM 加长期记忆，不改造应用
给AI加长期记忆的轻量网关 / A lightweight gateway that adds long-term memory to any L···
pasteguard
开源
粘贴前自动脱敏，AI 干活不碰你的隐私数据
AI gets the context. Not your private data. Local-first privacy proxy for browser ch···
BharatMLStack
开源
一套打通训练到推理的 ML 基础设施，让大规模模型上线更稳更快。
BharatMLStack is an open-source, end-to-end machine learning infrastructure stack bu···
Awesome-Ollama-Server
开源
实时盯住 Ollama 服务，掉线卡顿一眼看到
这是一个用于监控和检测 Ollama 服务可用性和性能的系统。它提供了一个现代化的 Web 界面，···
FreeQwenApi
开源
把 Qwen 网页版变成免费 API，本地部署即用
Локальный API-прокси для Qwen AI с поддержкой сохра···
archestra
开源
给企业 AI 套上护栏，统一管理模型与工具，安全落地
Enterprise AI Platform with guardrails, MCP registry, gateway & orchestrator
hermes-hudui
开源
给持久记忆 AI 智能体装一块实时意识仪表盘
Web UI consciousness monitor for Hermes — the AI agent with persistent memory