基础设施

floe-guard 开源 免费 仅开源

给语音代理装上费用闸门，超支自动叫停

floe-guard 是一个为 AI 语音代理设计的开源成本计量与预算控制工具。它解决了语音代理在调用语音识···

toshllm 开源 可打开

让 Intel Mac 的 AMD 显卡也能本地跑大模型

toshllm 是一款原生 macOS 应用，专为搭载 AMD 显卡的 Intel Mac（含黑苹果/Hackintosh 机器）提供···

LodeDB 开源 免费 仅开源

本地嵌入的向量库，默认精确检索还带 GPU 加速

LodeDB 是一个用 Rust 编写、提供 Python 接口的嵌入式向量数据库，主打本地优先、默认精确检索、多···

tokenmaxxing 开源 免费 仅开源

同步你的 token 用量，让团队消耗一目了然

tokenmaxxing 是一个基于 ccusage 构建的本地命令行工具，旨在解决 AI 开发者在不同工具间 token 使···

TurboLLM 开源 可打开

一条命令把 Claude Code 接到自己显卡上跑

TurboLLM 是一个面向本地大模型推理的基础设施工具，用 TypeScript 编写，目标是让任何人都能在自己···

magnitude 开源 可打开

按你的硬件自动调内核，本地跑模型更快

Magnitude 是一个用 Rust 编写的开源本地大模型推理引擎，核心思路是“按硬件自动调优内核”：启动···

awesome-ai-gateway 开源 免费 仅开源

100+ AI 网关选型指南，成本安全合规一网打尽

awesome-ai-gateway 是一个聚焦 AI 网关领域的精选资源与知识库项目。它系统梳理了 LiteLLM、OpenR···

TemporalStore 开源 免费 仅开源

给 LLM 装上时间轴，上下文可回溯、可管控

TemporalStore 是一个开源的 LLM 上下文管理基础设施，用 Rust 编写，提供时间序列化的上下文存储与···

TokenHub 开源 免费 仅开源

统一管理企业 AI 调用，让每一次请求可控可追溯。

TokenHub 是一个面向企业的私有 AI 网关，旨在统一管理企业对各类 AI 模型的访问，并强化治理能力。···

vllm-torchtpu 开源 免费 仅开源

让 vLLM 推理引擎跑在 TPU 上的后端适配层

vllm-torchtpu 是 vLLM 推理引擎面向 TorchTPU 后端的适配实现，目标是在 TPU 硬件上运行 vLLM 的高···

Nubase 开源 免费 仅开源

把 AI 写的代码变成能跑的真应用，一站式后端服务

Nubase 是一个开源的 AI 原生后端平台，专为 AI 编程、智能体应用和现代产品团队设计。它将记忆、数···

SiliconScope 开源 可打开

免 sudo 看 ANE 和内存带宽，本地大模型跑得快不快一目了然

SiliconScope 是一款面向 Apple Silicon Mac 的原生系统监控工具，用 SwiftUI 编写，无需 sudo 权限···

llmtrim 开源 免费 仅开源

本地压缩 LLM 请求，立省 31% 输入和 74% 输出成本

llmtrim 是一个本地代理服务，用于压缩发送给大语言模型 API 的请求，从而降低使用成本，同时保证回···

ctx-wire 开源 免费 仅开源

压缩命令输出，脱敏后喂给 AI，减少噪音

ctx-wire 是一个用 Go 编写的命令行工具，旨在优化 AI 代理与终端命令之间的交互。它运行用户指定的···

gateway 开源 免费 仅开源

用 Rust 和 Go 打造 AI 时代的 Kubernetes 网关

Nantian Gateway 是一个基于 Kubernetes Gateway API 实现的开源网关项目，采用 Go 编写控制平面、···

dataplane 开源 免费 仅开源

用 Rust 打造高性能 AI 网关数据面，支持 Wasm 插件扩展

dataplane 是南天网关（Nantian Gateway）的数据平面，基于 Rust 和 Pingora 构建，提供高性能的 H···

vllm-ultimate-dgx-spark 开源 免费 仅开源

DGX Spark 新硬件开箱即跑 vLLM 推理镜像

该项目是面向 NVIDIA DGX Spark（Blackwell 架构，GB10/sm_121a）的 vLLM 定制构建镜像，从源码编译···

Uncensored-Local-Studio 开源 免费 仅开源

零配置本地运行无审查 AI，图像、对话、语音一站式搞定

Uncensored-Local-Studio 是一个面向 Windows、Linux 和 macOS 的本地 AI 工作室，提供零配置的图形···

RedKnot 开源 免费 仅开源

长文本推理省显存提吞吐，按头复用 KV

RedKnot 是一个面向长上下文大语言模型推理的服务框架，核心解决长文本场景下 KV Cache 显存占用大···

Portable-Local-Studio 开源 免费 仅开源

一个界面跑齐本地画图、聊天、朗读和听写，免安装随身带

Portable-Local-Studio 是一个面向 Windows、Linux 和 macOS 的便携式本地 AI 工作台，目标是把图像···

opencode2api 开源 免费 仅开源

把 OpenCode 接口转成 Claude Code/Codex 能直接用的格式

opencode2api 是一个用 Go 编写的 API 协议转换代理，把 OpenCode 的 zen/go 接口转换成 OpenAI Co···

freellmpool 开源 免费 仅开源

一个接口聚合22家免费大模型，自动切换不怕挂

freellmpool 是一个免费大模型网关，把 22 家 LLM 提供商的 178 条可用聊天路由和 431 个模型统一到···

llamacore 开源 免费 仅开源

本地跑 GGUF 模型，点点鼠标就能聊、转、训、编排

llamacore 是一个基于 Electron + React + TypeScript 构建的桌面客户端，专门为 llama.cpp 生态提···

vLLM-2080Ti-Definitive 开源 免费 仅开源

双2080Ti+NVLink跑Qwen 27B，单请求破100 tok/s

vLLM-2080Ti-Definitive 是面向双 RTX 2080 Ti 22GB 加 NVLink 配置的 vLLM 运行时优化方案，目标是···