基础设施

Flide 开源 待核验

让决策模型推理更快、结果更稳定可复现

Flide 是一个面向决策模型的极速推理引擎，用 Python 编写，主打确定性推理与低延迟。它针对决策类···

gpu-unlock-ada 开源 免费 仅开源

本地生成固件，释放 Ada 显卡张量算力

gpu-unlock-ada 是一个面向 NVIDIA Ada 架构显卡（RTX 4090，实验性支持 RTX 4070 Ti SUPER）的固件···

spark-local-inference 开源 免费 仅开源

Rust 写的本地大模型推理服务底座，请求调度一把抓

spark-local-inference 是一个用 Rust 编写的本地推理基础设施项目，目标是在本地设备上运行大模型···

gpu-unlock 开源 免费 仅开源

解锁 30 系显卡 FP/BF16 发射率，逼近专业卡算力

gpu-unlock 是一个用 C 编写的底层工具，目标是解除 Nvidia RTX 3000 系列消费级显卡在 FP 与 BF16···

antirion 开源 免费+付费 不稳定

一个 Rust 二进制统一管住所有大模型调用

antirion 是一个用 Rust 编写的开源 AI 网关，以单个二进制文件形式交付，内置管理控制台。它要解决···

DeepInfer 开源 免费 仅开源

让 DeepSeek 大模型多卡高吞吐跑起来

DeepInfer 是面向 DeepSeek 系列大模型的高性能大规模推理框架，用 Python 实现。它要解决的问题是···

kapitsa 开源 待核验

Mac 上跑 Qwen，接口兼容主流 SDK

kapitsa 是一个面向 Apple Silicon 的本地大模型推理引擎，用 C++ 编写，针对 Qwen 与 Nemotron 系···

agentplay 开源 不稳定

把编码代理的会话回放成地图和时间线

agentplay 是一个用 Python 编写的编码智能体会话回放与可观测工具，把 Claude Code、Codex、Curso···

scion 开源 免费 仅开源

用 Rust 自建一套可定制的版本控制系统

scion 是 Anthropic 版本控制系统的开源实现，用 Rust 编写。它面向需要管理代码与配置变更历史的团···

CF-Workers-TGProxy 开源 免费 仅开源

白嫖 Cloudflare 搭私有 Telegram 代理，网页和客户端都能连

CF-Workers-TGProxy 是一个部署在 Cloudflare Workers 上的 Telegram 代理中继，专门解决 Telegram···

helix-foundry 开源 免费 仅开源

把公司数据在本机连成一张关系网，随手查

helix-foundry 是一个本地优先的数据工作台，目标是把公司分散在各处的数据连接成统一的本体（onto···

project-maya 开源 免费 仅开源

本地跑 321B MoE 大模型，单卡到 16 卡，兼容 OpenAI 接口

Project Maya 是一个面向 GLM-5.3-Flash（321B 参数 MoE 架构）大模型的私有化推理引擎，目标是让用···

PolyStrata 开源 免费 仅开源

一键在个人电脑跑多种大模型，本地开放兼容 API

PolyStrata 是一个用 C++ 编写的本地大模型推理引擎，目标是在个人电脑上直接运行多种主流开源大模···

Grandet 开源 免费+付费 不稳定

让 AI Agent 自动找到并接入最便宜的模型 API

Grandet 是一个面向 AI Agent 的模型 API 比价与接入工具。它聚合了 1800 多家官方、推理和转发服务···

backburner 开源 免费 仅开源

插上 iPhone，Mac 本地跑 27B 大模型

backburner 是一个把 iPhone 变成 Mac 本地大模型推理协处理器的开源项目。它针对 Mac 内存有限、难···

PS5LM 开源 免费 不稳定

越狱 PS5 原生跑 GGUF 大模型

PS5LM 是一个把 llama.cpp 移植到已越狱 PlayStation 5 上的开源项目，目标是让主机原生运行任意 G···

muse2api 开源 免费 仅开源

把 Muse 变成 OpenAI 接口，现有代码改个地址就能用

muse2api 是一个把 Muse（muse.ai）网页端能力逆向封装成 OpenAI 兼容接口的 Python 项目。它解决的···

respan-gateway 开源 可打开

一个端点接入所有大模型，单二进制即开即用

respan-gateway 是一个用 Rust 编写的 LLM 统一网关，把 OpenAI、Anthropic、Gemini 等多家大模型厂···

Actioneer-Pulse 开源 免费 仅开源

给语音 Agent 装上监控与评测，上线不再靠猜

Actioneer-Pulse 是一个面向生产环境语音智能体的可观测性套件，用 Python 编写。它要解决的问题是···

DiPlay 开源

安卓车机不换硬件，也能用上 CarPlay

DiPlay 是一个用 Kotlin 编写的开源 CarPlay 接收端，目标是让支持外接 USB 视频采集的安卓车机也能···

Strata 开源 免费 仅开源

一键把大模型装进自己电脑，本地 API 即开即用

Strata 是一个用 C++ 编写的本地大模型推理引擎，目标是把 Qwen3.8-Flash-Next 这类模型跑在普通消···

vllm-jev 开源 免费 仅开源

让 Jev 决策模型直接用 vLLM 跑起来

vllm-jev 是一个面向 Jev 决策模型的 vLLM 原生推理服务项目，目标是把 Jev 系列决策模型直接接入 ···

agent-console 开源 免费 仅开源

看清每轮 AI 编码花了多少 token 和钱

agent-console 是一款面向 AI 编程代理的本地优先可观测性工具，主要解决开发者在使用 Claude Code···

janas 开源 免费 仅开源

纯 C 写的本地推理引擎，小内存也能跑超大模型

janas 是一个纯 C 编写的本地大模型推理引擎，核心目标是让超出内存容量的模型也能在普通笔记本上高···