distributed-inference
用 WebRTC 和 Redis Streams 搭建跨语言分布式推理管道
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 86
核心亮点
- WebRTC 提供低延迟传输，适合实时推理场景
- Redis Streams 天然支持消息持久化和消费者组，管道可靠
- 跨语言设计，可集成 Python、C++ 等模型服务
不足之处
- 文档/社区待观察
- 示例性质，生产级特性（如容错、监控）未覆盖
适用场景
- 跨语言模型服务编排与推理
- 实时视频/音频流上的 AI 推理
- 需要低延迟、可扩展的分布式 ML 管道设计参考
替代项目
Kubeflow Pipelines、Ray Serve、NVIDIA Triton Inference Server
同类项目推荐
mlops-e2e
开源
用AWS原生服务搭建自动化ML流水线，一键部署模型
MLOps End-to-End Example using Amazon SageMaker Pipeline, AWS CodePipeline and AWS C···
WhereMyTokens
开源
Windows 托盘实时盯住 Claude/Codex 令牌消耗与费用
Local-first Windows tray app for monitoring Claude Code and Codex tokens, costs, ses···
jangq
开源
把 GGUF 模型搬上 Mac 的 MLX，量化后照样跑得动
JANG — GGUF for MLX. YOU MUST USE JANG_Q RUNTIME. Adaptive Mixed-Precision Quantiza···
oracle-ai-developer-hub
开源
用 Oracle 数据库和云服务，快速上手构建企业级 AI 应用
Technical resources for AI developers to build applications, agents, and systems usi···
pebblo
开源
加载数据前先过一道安全筛，让 Gen AI 应用安心上线
Pebblo enables developers to safely load data and promote their Gen AI app to deploy···
ray_vllm_inference
开源
用 Ray 调度 vLLM，轻松搞定高并发大模型服务
A simple service that integrates vLLM with Ray Serve for fast and scalable LLM servi···
runtime
开源
把 AI 生成的代码关进 WASM 沙箱安全跑
Secure runtime to sandbox AI agent tasks. Run untrusted code in isolated WebAssembly···
ComfyUI-Docker
开源
一条命令拉起 ComfyUI，告别环境配置地狱
Dockerfile for ComfyUI. | 容器镜像与启动脚本
vLLM-Hook
开源
给 vLLM 装上状态探针，编程控制模型内部，实现监控与干预。
Repo for vLLM Hook, an vLLM plug-in for programming internal states of models deploy···