flash
把多模态推理任务拆到多机跑并统一编排
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-11-15 · 当前星标 ★ 188
核心亮点
- 提供应用层封装，把分布式推理的编排逻辑收敛到框架内，减少自行拼装调度代码的工作量
- 面向多模态场景设计，统一处理文本、图像等异构输入的接入与流转
- Python 技术栈，与主流模型生态衔接成本低，便于快速搭原型
不足之处
- 项目处于早期，星标约 188，API 与架构可能频繁变动，稳定性待验证
- 文档与社区规模有限，遇到问题可参考的案例和讨论较少
适用场景
- 多模态模型推理服务的分布式部署原型验证
- 需要把推理任务拆分到多台机器执行的编排实验
- 研究多模态应用框架调度设计的参考实现
替代项目
Ray、vLLM、Triton Inference Server
同类项目推荐
FlexLLMGen
开源
单卡跑大模型，吞吐量翻倍，省钱又高效
Running large language models on a single GPU for throughput-oriented scenarios.
vLLM-Hook
开源
给 vLLM 装上状态探针，编程控制模型内部，实现监控与干预。
Repo for vLLM Hook, an vLLM plug-in for programming internal states of models deploy···
LLM-Tools
开源
输入模型参数，秒算 GPU 显存和硬件需求
Open-source calculator for LLM system requirements.
monocle
开源
给 LLM 应用装上行车记录仪，调用链一目了然
Monocle is a framework for tracing GenAI app code. This repo contains implementation···
litellm-rs
开源
用 Rust 实现的高性能 AI 网关，一行代码切换 100+ 大模型
Self-hosted Rust LLM gateway with OpenAI-compatible APIs, load balancing, failover, ···
LLM-TPU
开源
在算能TPU上跑大模型，边缘部署快人一步
Run generative AI models in sophgo BM1684X/BM1688
afm-Server
开源
把苹果设备端模型变成本地 OpenAI API，一键调用
macOS menu bar app that exposes Apple's on-device Foundation Models as an OpenAI-com···
freebucks-proxy
开源
多账号池化 OpenAI 网关，编码模型调用不再被限流卡住
Archived; no longer maintained.
larql
开源
Rust 写的模型运行时，能跑能查还能改模型内部
Run, serve, query and edit AI models — a Rust model runtime built on VINDEX3, an ex···