基础设施

djev-run 开源 免费 仅开源

在云 GPU 上一键跑起扩散模型推理服务

djev-run 是一个面向实验性 DiffusionGemma-Jev 扩散模型的部署示例仓库，核心目标是把该模型的推理···

spark-ds41f 开源 免费 仅开源

多台 DGX Spark 一键跑通 DeepSeek 分布式推理与压测

spark-ds41f 是一个面向 DGX Spark 多机集群的 DeepSeek V4.1 Flash 部署与调优工程，核心价值在于···

SparkDiffusion 开源 免费 仅开源

多技术叠加让 DiT 视频生成提速 265 倍

SparkDiffusion 是一个面向 DiT（Diffusion Transformer）视频生成模型的推理加速框架，目标是把原···

openai-compatible-api-migration-kit 开源 已失效

换 AI 网关不翻车，示例+回滚+清单一次给齐

这是一个面向 AI API 网关迁移场景的 Python 工具包，核心目标是让开发者把工作负载从 OpenAI 兼容···

ai-api-aggregator 开源 按量 待核验

一个 Key 一个地址，统一调用 300+ 模型

ai-api-aggregator 是一个面向 AI 应用开发者的聚合网关配套项目，核心是一份机器可读的模型目录，···

runntime 开源 免费 仅开源

在浏览器里用 GPU 跑神经网络推理

runntime 是一个面向 Web 的高性能神经网络推理引擎，构建在 TypeGPU 之上，用 TypeScript 编写。它···

vllm-sly-radiance 开源 免费 仅开源

让 AMD R9700 跑 vLLM 推理更快更稳

vllm-sly-radiance 是一个面向 AMD Radeon AI PRO R9700 显卡的 vLLM 性能优化实验项目，目标是在 ···

HiRoute 开源 可打开

本地分流代理请求，省钱模型干杂活，强模型只啃硬骨头

HiRoute 是一个用 Rust 编写的本地模型路由服务，面向使用 Codex、Claude Code 等编码代理的开发者···

Agent2API 开源 免费 仅开源

一个本地网关，把桌面 AI 客户端的额度变成标准 API

Agent2API 是一个用 Rust 编写的本地反向代理与 OpenAI 兼容 AI 网关。它解决的核心问题是：许多 A···

tracecrate 开源 免费 可打开

本地查看 Claude Code 运行轨迹，对比两次执行差异

tracecrate 是一个本地优先的 AI Agent 轨迹工作台，专门用来查看和分析 Claude Code、Codex 以及 ···

vllm-rlt 开源 免费 仅开源

给循环 Transformer 做循环级调度的推理引擎

vllm-rlt 是一个受 vLLM 启发的推理引擎，专门面向循环 Transformer（looped transformer）架构。传···

OmniStudio 开源 可打开

本地跑大模型，下载到多模态应用一个桌面全搞定

OmniStudio 是一个本地大模型一体化桌面工作台，目标是让普通用户在自己的电脑上完成从模型获取到多···

tool-journal 开源 免费 仅开源

让工具重试不再重复执行，崩溃后也能安全恢复

tool-journal 是一个面向可重试工具调用的 TypeScript 执行日志库，核心解决 AI Agent 或自动化流程···

agent-infer 开源 免费 仅开源

基于 vLLM 的智能体推理后端，多轮工具调用更省心

agent-infer 是一个基于 vLLM 构建的推理框架，面向智能体（agentic）工作负载设计。传统大模型推理···

dola-render-gateway 开源 可打开

统一调度视频生成任务，让并发请求不打架

dola-render-gateway 是一个用 Python 编写的高性能视频生成网关与会话协调器，面向需要批量或并发···

zcode2api 开源 免费 仅开源

Anthropic 协议兼容网关，多账号自动轮换分发

zcode2api 是一个用 Python 编写的 Anthropic 兼容反向代理网关与账号轮换编排器。它位于客户端与上···

paiton-vllm-plugin 开源 免费 仅开源

给 vLLM 加插件，不改源码就能扩展推理能力

paiton-vllm-plugin 是面向 vLLM 推理框架的 Python 插件项目，目标是把自定义的模型接入、算子或调···

paddock 开源 免费 仅开源

Rust 写的推理服务器，Mac 和 N 卡都能跑开放模型

paddock 是一个用 Rust 编写的原生推理服务器，面向在 NVIDIA 与 Apple Silicon 上运行开放模型。它···

pooled 开源 可打开

多台设备浏览器组队，本地跑大模型聊天写代码

pooled 是一个在浏览器中实现点对点大模型推理的开源项目。它把多台设备（笔记本、台式机、手机等）···

vllm-mxfp4 开源 免费 仅开源

让 AMD R9700 跑大模型推理更快更省显存

vllm-mxfp4 是针对 AMD R9700 显卡优化的 vLLM 定制构建，目标是在该硬件上获得尽可能高的推理吞吐···

ReadyLLM 开源 免费 仅开源

图形界面一键部署本地大模型，还能顺手跑图生视频

ReadyLLM 是一个面向本地大模型部署与运维的可视化基础设施工具。它把模型下载、量化、推理服务启动···

slotstream 开源 免费 仅开源

小内存 Mac 也能跑百 GB 大模型，从 SSD 流式加载

slotstream 是一个面向 Apple Silicon Mac 的原生本地大模型推理引擎，用 Swift 编写，基于 MLX 与···

samir-vllm 开源 免费 仅开源

手写 C++ 推理引擎，配教程从零看懂 LLM 推理

samir-vllm 是一个从零手写的轻量级大语言模型推理引擎，使用 C++ 实现，面向想理解推理底层机制的···

halogen-flash-server 开源 免费 仅开源

Strix Halo 一键跑 Qwen 本地大模型，开箱即用 OpenAI 接口

halogen-flash-server 是一个面向 AMD Strix Halo（gfx1151）平台的本地大模型推理部署脚本，目标是···