基础设施

pmetal 开源 不稳定

Mac 上一条龙跑大模型：推理、微调、服务全本地

PMetal 是一个面向 Apple Silicon 的高性能本地大模型框架，用 Rust 编写，目标是在 Mac 上把 LLM ···

yantr 开源 可打开

自托管 AI 应用商店，一站式安装管理你的 AI 工具

yantr 是一个自托管的应用商店，它运行在你的操作系统旁边，而不是替代它。它旨在为家庭服务器和自···

ContextPilot 开源 免费 仅开源

长上下文推理瘦身，不丢精度还更快

ContextPilot 是一个面向长上下文大模型推理的上下文优化基础设施，目标是在不损失精度的前提下加速···

pasteguard 开源 可打开

粘贴前自动脱敏，AI 干活不碰你的隐私数据

pasteguard 是一个本地优先的隐私代理工具，专为浏览器聊天、AI API 和编码代理设计。它解决的核心···

container 开源 免费 仅开源

给 AI 编程助手套上沙箱，放心让它全权限干活。

container 是一个用于安全运行 AI 编程助手（如 OpenCode、Codex、Claude Code）的容器化工具。它解···

simple-llm 开源 免费 仅开源

1300行Python手写LLM推理引擎，读懂并魔改每一步

simple-llm 是一个用约 1300 行 Python 从零实现的极简 LLM 推理引擎，目标是让开发者能完整读懂并···

matrixhub 开源 待核验

自建模型仓库，兼容 Hugging Face，推理加载更快

matrixhub 是一个用 Go 编写的开源、自托管 AI 模型中心，面向需要在自有基础设施上统一管理大模型···

headroom 开源 免费 仅开源

喂给 AI 之前先瘦身，每五次对话省一次钱

在数据进入 LLM 之前压缩工具输出、日志、文件与 RAG 片段，编码 agent 可省 20% Token，JSON 场景···

code-on-incus 开源 免费 仅开源

给每个 AI 代理一个独立沙箱，自动防威胁

code-on-incus 是一个为 AI 编程代理提供隔离运行环境的开源工具。它利用 Incus 系统容器，为每个 ···

destructive_command_guard 开源 免费 仅开源

给 AI 智能体装上安全锁，防止误删误推毁仓库。

Destructive Command Guard (dcg) 是一个用 Rust 编写的命令行安全工具，专门用于拦截 AI 智能体执···

codex-lb 开源 免费 仅开源

多账户轮询分流，突破 API 限速，用量一目了然

codex-lb 是一个针对 Codex 和 ChatGPT 的多账户负载均衡与代理工具，主要解决开发者在使用 OpenAI···

sglang-omni 开源 免费 仅开源

让语音和多模态模型服务快如闪电，吞吐翻倍

SGLang-Omni 是一个基于 SGLang 的高性能多模态推理服务框架，专注于语音相关模型（TTS、ASR）及全···

nano-vllm-prefillonly 开源 免费 仅开源

砍掉解码只留 prefill，判别式大模型推理更快更省

nano-vllm-prefillonly 是 nano-vllm 的一个专用优化分支，聚焦于仅需 prefill 阶段的推理任务。传···

ultracontext 开源 免费+付费 可打开

自动抓取并共享智能体上下文，让多智能体协作不再各说各话。

ultracontext 是一个面向 AI 智能体的开源上下文基础设施，目标是解决多智能体协作中上下文分散、重···

generative-ai-arbitrage 开源 免费 仅开源

花三成钱，调用同一批顶级视频图像音乐模型

这是一个精选资源列表，聚焦生成式 AI 模型的低成本 API 接入路径。它解决的问题是：Veo、Sora、Ru···

9router 开源 免费+付费 可打开

把付费 AI 编程模型换成免费替代，自动切换不限流

9router 是一个开源的 AI 网关，旨在为 Claude Code、Codex、Cursor、Cline、Copilot 等主流 AI 编···

pegaflow 开源 免费 仅开源

把 LLM 的 KV cache 分层存起来，跨卡跨机复用，推理更快更省显存

Pegaflow 是一个用 Rust 编写的高性能 KV cache 存储层，面向 LLM 推理场景，解决大模型推理中 KV ···

arcbox 开源 可打开

让 AI 智能体在 100ms 内跑进隔离虚拟机，安全又高效

arcbox 是一个基于 Rust 的轻量级沙箱运行时，专为 AI 智能体设计，让它们能在真实且隔离的机器上运···

qvac 开源 免费 仅开源

本地跑AI，跨平台私有部署，数据不出设备

QVAC 是一个面向本地优先的 AI 应用开发 SDK 和库集合，旨在帮助开发者构建私有、跨平台、点对点的···

runtm 开源 免费 仅开源

给AI编程代理一个安全沙箱，放心让它写代码和部署

runtm 是一个开源沙箱基础设施，专为编码代理（如 Claude Code、Cursor 等 AI 编程工具）提供隔离的···

gemini-web-to-api 开源 免费 仅开源

把 Gemini 网页版变成标准 API，一键接入现有 AI 应用

gemini-web-to-api 是一个通过逆向工程将 Gemini 网页版转换为标准 API 的开源项目。它解决了开发者···

distill 开源 免费 仅开源

给 LLM 智能体装上持久记忆，12 毫秒去重防泄露

distill 是一个为 LLM 智能体设计的上下文智能层，以 Go 语言实现。它解决的是智能体在长期运行中上···

MinivLLM 开源 免费 仅开源

用最小代码读懂 vLLM 推理内核

MinivLLM 是一个基于 Nano-vLLM 的教学型推理引擎，用 Python 从零复现 vLLM 的核心机制，目标是让···

Containarium 开源 免费 仅开源

给 AI 代理套上安全隔离壳，放心执行任意代码

Containarium 是一个开源的智能体运行时，专注于为 AI 代理提供安全、隔离的执行环境。它通过 SSH ···