基础设施

opencodex 开源

一个网关，让 Codex 和 Claude Code 用上任意大模型

opencodex 是一个通用的 AI 网关代理，专为 OpenAI Codex 和 Claude Code 设计。它解决了开发者被锁···

tiygate 开源

给 LLM 服务加个高可用保险，自动切换不宕机

TiyGate 是一个用 Rust 编写的轻量级 LLM 网关，专注于为大型语言模型服务提供高可用性保障。它解决···

telnyx-code-examples 开源

拿来即用的 Telnyx 通信 API 示例，快速集成 AI 语音与短信。

Telnyx 官方提供的生产级代码示例合集，覆盖其 AI 通信基础设施的 Voice AI、SMS、SIP 和 IoT API。···

codex-token-skills 开源

为 Codex CLI 省 60-80% token 成本，用前缀缓存优化

codex-token-skills 是一个针对 Codex CLI 的 token 优化工具，旨在降低使用 DeepSeek V4 Pro 模型···

vLLM-Moet 开源

消费级 Blackwell 上跑 2-bit MoE，画质对齐官方 FP4

vLLM-Moet 是一个面向消费级 Blackwell 显卡（SM120）的 vLLM 补丁项目，核心目标是在显存有限的硬···

floe-guard 开源

给语音代理装上费用闸门，超支自动叫停

floe-guard 是一个为 AI 语音代理设计的开源成本计量与预算控制工具。它解决了语音代理在调用语音识···

toshllm 开源

让 Intel Mac 的 AMD 显卡也能本地跑大模型

toshllm 是一款原生 macOS 应用，专为搭载 AMD 显卡的 Intel Mac（含黑苹果/Hackintosh 机器）提供···

LodeDB 开源

本地嵌入的向量库，默认精确检索还带 GPU 加速

LodeDB 是一个用 Rust 编写、提供 Python 接口的嵌入式向量数据库，主打本地优先、默认精确检索、多···

tokenmaxxing 开源

同步你的 token 用量，让团队消耗一目了然

tokenmaxxing 是一个基于 ccusage 构建的本地命令行工具，旨在解决 AI 开发者在不同工具间 token 使···

TurboLLM 开源

一条命令把 Claude Code 接到自己显卡上跑

TurboLLM 是一个面向本地大模型推理的基础设施工具，用 TypeScript 编写，目标是让任何人都能在自己···

awesome-ai-gateway 开源

100+ AI 网关选型指南，成本安全合规一网打尽

awesome-ai-gateway 是一个聚焦 AI 网关领域的精选资源与知识库项目。它系统梳理了 LiteLLM、OpenR···

TemporalStore 开源

给 LLM 装上时间轴，上下文可回溯、可管控

TemporalStore 是一个开源的 LLM 上下文管理基础设施，用 Rust 编写，提供时间序列化的上下文存储与···

TokenHub 开源

统一管理企业 AI 调用，让每一次请求可控可追溯。

TokenHub 是一个面向企业的私有 AI 网关，旨在统一管理企业对各类 AI 模型的访问，并强化治理能力。···

Nubase 开源

把 AI 写的代码变成能跑的真应用，一站式后端服务

Nubase 是一个开源的 AI 原生后端平台，专为 AI 编程、智能体应用和现代产品团队设计。它将记忆、数···

SiliconScope 开源

免 sudo 看 ANE 和内存带宽，本地大模型跑得快不快一目了然

SiliconScope 是一款面向 Apple Silicon Mac 的原生系统监控工具，用 SwiftUI 编写，无需 sudo 权限···

llmtrim 开源

本地压缩 LLM 请求，立省 31% 输入和 74% 输出成本

llmtrim 是一个本地代理服务，用于压缩发送给大语言模型 API 的请求，从而降低使用成本，同时保证回···

ctx-wire 开源

压缩命令输出，脱敏后喂给 AI，减少噪音

ctx-wire 是一个用 Go 编写的命令行工具，旨在优化 AI 代理与终端命令之间的交互。它运行用户指定的···

gateway 开源

用 Rust 和 Go 打造 AI 时代的 Kubernetes 网关

Nantian Gateway 是一个基于 Kubernetes Gateway API 实现的开源网关项目，采用 Go 编写控制平面、···

dataplane 开源

用 Rust 打造高性能 AI 网关数据面，支持 Wasm 插件扩展

dataplane 是南天网关（Nantian Gateway）的数据平面，基于 Rust 和 Pingora 构建，提供高性能的 H···

Uncensored-Local-Studio 开源

零配置本地运行无审查 AI，图像、对话、语音一站式搞定

Uncensored-Local-Studio 是一个面向 Windows、Linux 和 macOS 的本地 AI 工作室，提供零配置的图形···

RedKnot 开源

长文本推理省显存提吞吐，按头复用 KV

RedKnot 是一个面向长上下文大语言模型推理的服务框架，核心解决长文本场景下 KV Cache 显存占用大···

Portable-Local-Studio 开源

一个界面跑齐本地画图、聊天、朗读和听写，免安装随身带

Portable-Local-Studio 是一个面向 Windows、Linux 和 macOS 的便携式本地 AI 工作台，目标是把图像···

freellmpool 开源

一个接口聚合22家免费大模型，自动切换不怕挂

freellmpool 是一个免费大模型网关，把 22 家 LLM 提供商的 178 条可用聊天路由和 431 个模型统一到···

vLLM-2080Ti-Definitive 开源

双2080Ti+NVLink跑Qwen 27B，单请求破100 tok/s

vLLM-2080Ti-Definitive 是面向双 RTX 2080 Ti 22GB 加 NVLink 配置的 vLLM 运行时优化方案，目标是···