基础设施

sndr_core_engine 开源

消费级显卡上榨干大模型性能，推理速度翻倍

SNDR Core Engine (Genesis) 是一个针对消费级 NVIDIA GPU（如 RTX 3090、A5000）的 vLLM 运行时补···

ijfw 开源

让多个 AI 编程代理协同工作，自动记忆、路由和互审，代码质量稳了。

IJFW 是一个面向 AI 编程代理的本地优先基础设施，由 Ferrox Labs 开发。它旨在解决 AI 编程工具在···

awesome-llm-token-optimization 开源

一站式收藏 LLM 省钱秘籍，快速降低 Token 成本

这是一个精选资源列表，汇集了降低大语言模型（LLM）Token 成本、提升生产环境效率的策略、工具、论···

smfs 开源

让 AI 像 grep 一样，秒搜所有文件内容

smfs 是一个专为 AI 智能体设计的文件系统，旨在解决智能体在处理海量异构文件（如 PDF、图片、视频···

byok-relay 开源

前端直连大模型，用户自带密钥，绕过 CORS 限制

byok-relay 是一个轻量级的中继服务，用于解决前端应用直接调用 LLM API 时遇到的 CORS 限制问题。···

codeburn 开源

每分钱花哪了看得明明白白，AI 账单不再超支。

免费开源的本地工具，用于追踪 AI 编程的 Token 用量与成本，覆盖 Claude Code、Cursor、Codex、Ge···

Recall 开源

切换 AI 助手，不丢历史记忆，本地搜索所有编码会话

Recall 是一个面向 AI 编程会话的本地优先搜索工具，旨在解决开发者在使用不同 AI 编码助手（如 Cl···

WindsurfAPI 开源

把 Windsurf 订阅的 100+ 模型变成通用 API，无缝接入任何 AI 工具

WindsurfAPI 是一个开源的零依赖反向代理工具，能将 Windsurf 和 Devin Desktop 订阅中内置的 100 ···

hermes-hudui 开源

给持久记忆 AI 智能体装一块实时意识仪表盘

hermes-hudui 是 Hermes 智能体的 Web 可视化监控面板。Hermes 是一个具备持久记忆能力的 AI 智能体···

heron 开源

不碰代码，抓包就能监控 LLM 与智能体性能

Heron 是一个基于 Rust 构建的智能体与 LLM API 性能监控工具，通过网络数据包探测的方式，在服务提···

velobase-harness 开源

把 AI 原型一键变成能收费的 SaaS

velobase-harness 是一个面向 AI 开发者的开源 SaaS 基础设施模板，旨在帮助开发者将 AI 原型快速转···

kontext-cli 开源

给AI智能体装上安全围栏，事前拦截危险操作，事后可追溯

kontext-cli 是一个为使用工具的 AI 智能体提供运行时安全防护的命令行工具。它解决的是 AI 智能体···

yantrikdb-server 开源

给 AI 装上会整理、会遗忘的长期记忆库

yantrikdb-server 是一个面向 AI 智能体的认知记忆数据库，用 Rust 编写，以库、MCP 服务器或 HTTP···

WhereMyTokens 开源

Windows 托盘实时盯住 Claude/Codex 令牌消耗与费用

WhereMyTokens 是一款面向 Windows 平台的本地优先托盘应用，专为监控 Claude Code 和 Codex 的令牌···

mempalace 开源

给 AI 装上永久记忆，告别每次对话都失忆

mempalace 是一个开源的 AI 记忆系统，旨在为大型语言模型提供持久、可扩展的长期记忆能力。它解决···

spectralquant 开源

旋转特征基+注水位分配，KV-Cache 压缩不降精度

SpectralQuant 是一个针对大语言模型推理时 KV-Cache 压缩的开源工具库。它通过特征基旋转（Eigenb···

Your-First-LLM-Studio 开源

在 Mac 上本地跑、比、测多个大模型，一站式搞定

Your-First-LLM-Studio 是一个面向 Apple Silicon 芯片的本地优先 LLM 开发工作台，基于 MLX 运行时···

ephemeral-sandbox 开源

让多个编码AI并行干活，互不干扰，结果可靠发布

ephemeral-sandbox 是一个开源的智能体沙箱基础设施，专为并行编码智能体设计。它解决了多个 AI 编···

mentedb 开源

给AI智能体装上会思考的记忆引擎，告别上下文丢失

MenteDB 是一个专为 AI 智能体记忆设计的认知感知数据库引擎，采用 Rust 从零构建，而非封装现有系···

gemma4.java 开源

纯 Java 跑 Gemma 4，不装 Python 也能本地推理

gemma4.java 是一个纯 Java 实现的 Gemma 4 模型推理引擎，旨在为 JVM 生态提供轻量、高效的本地大···

TensorSharp 开源

用 C# 在本地跑 GGUF 大模型，带 GPU 加速和 OpenAI 兼容接口

TensorSharp 是一个用 C# 编写的原生 .NET 大语言模型推理引擎，专门用于加载和运行 GGUF 格式的模···

lucebox 开源

消费级显卡也能跑出更快的本地大模型推理

lucebox 是一个面向异构硬件与消费级 GPU 的 LLM 投机推理服务器，用 C++ 编写并深度依赖 CUDA 与自···

otari 开源

自建一个端点，管好所有大模型密钥和预算

otari 是一个开源的、兼容 OpenAI API 的 LLM 网关，你可以自行部署。它提供了一个统一的 API 端点···

ThinkWatch 开源

给企业 AI 接入装上安全闸门，统一管控、审计、控费

ThinkWatch 是一个面向企业的 AI 安全堡垒机，为 AI API 和 MCP（模型上下文协议）访问提供统一代理···