基础设施

Recall 开源 免费 仅开源

切换 AI 助手，不丢历史记忆，本地搜索所有编码会话

Recall 是一个面向 AI 编程会话的本地优先搜索工具，旨在解决开发者在使用不同 AI 编码助手（如 Cl···

WindsurfAPI 开源 免费 仅开源

把 Windsurf 订阅的 100+ 模型变成通用 API，无缝接入任何 AI 工具

WindsurfAPI 是一个开源的零依赖反向代理工具，能将 Windsurf 和 Devin Desktop 订阅中内置的 100 ···

hermes-hudui 开源 免费 仅开源

给持久记忆 AI 智能体装一块实时意识仪表盘

hermes-hudui 是 Hermes 智能体的 Web 可视化监控面板。Hermes 是一个具备持久记忆能力的 AI 智能体···

heron 开源 免费 仅开源

不碰代码，抓包就能监控 LLM 与智能体性能

Heron 是一个基于 Rust 构建的智能体与 LLM API 性能监控工具，通过网络数据包探测的方式，在服务提···

velobase-harness 开源 不稳定

把 AI 原型一键变成能收费的 SaaS

velobase-harness 是一个面向 AI 开发者的开源 SaaS 基础设施模板，旨在帮助开发者将 AI 原型快速转···

OlliteRT 开源 免费 仅开源

把安卓手机变成本地 OpenAI 接口推理服务器

OlliteRT 是一个用 Kotlin 开发的 Android 应用，目标是把手机变成完全本地运行的 LLM 推理服务器，···

kontext-cli 开源 仅开源

给AI智能体装上安全围栏，事前拦截危险操作，事后可追溯

kontext-cli 是一个为使用工具的 AI 智能体提供运行时安全防护的命令行工具。它解决的是 AI 智能体···

yantrikdb-server 开源 已失效

给 AI 装上会整理、会遗忘的长期记忆库

yantrikdb-server 是一个面向 AI 智能体的认知记忆数据库，用 Rust 编写，以库、MCP 服务器或 HTTP···

WhereMyTokens 开源 免费 仅开源

Windows 托盘实时盯住 Claude/Codex 令牌消耗与费用

WhereMyTokens 是一款面向 Windows 平台的本地优先托盘应用，专为监控 Claude Code 和 Codex 的令牌···

mempalace 开源 免费 仅开源

给 AI 装上永久记忆，告别每次对话都失忆

mempalace 是一个开源的 AI 记忆系统，旨在为大型语言模型提供持久、可扩展的长期记忆能力。它解决···

spectralquant 开源 免费 仅开源

旋转特征基+注水位分配，KV-Cache 压缩不降精度

SpectralQuant 是一个针对大语言模型推理时 KV-Cache 压缩的开源工具库。它通过特征基旋转（Eigenb···

Your-First-LLM-Studio 开源 免费 仅开源

在 Mac 上本地跑、比、测多个大模型，一站式搞定

Your-First-LLM-Studio 是一个面向 Apple Silicon 芯片的本地优先 LLM 开发工作台，基于 MLX 运行时···

ephemeral-sandbox 开源 可打开

让多个编码AI并行干活，互不干扰，结果可靠发布

ephemeral-sandbox 是一个开源的智能体沙箱基础设施，专为并行编码智能体设计。它解决了多个 AI 编···

mentedb 开源 可打开

给AI智能体装上会思考的记忆引擎，告别上下文丢失

MenteDB 是一个专为 AI 智能体记忆设计的认知感知数据库引擎，采用 Rust 从零构建，而非封装现有系···

gemma4.java 开源 免费 仅开源

纯 Java 跑 Gemma 4，不装 Python 也能本地推理

gemma4.java 是一个纯 Java 实现的 Gemma 4 模型推理引擎，旨在为 JVM 生态提供轻量、高效的本地大···

TensorSharp 开源 不稳定

用 C# 在本地跑 GGUF 大模型，带 GPU 加速和 OpenAI 兼容接口

TensorSharp 是一个用 C# 编写的原生 .NET 大语言模型推理引擎，专门用于加载和运行 GGUF 格式的模···

lucebox 开源 可打开

消费级显卡也能跑出更快的本地大模型推理

lucebox 是一个面向异构硬件与消费级 GPU 的 LLM 投机推理服务器，用 C++ 编写并深度依赖 CUDA 与自···

otari 开源 免费 仅开源

自建一个端点，管好所有大模型密钥和预算

otari 是一个开源的、兼容 OpenAI API 的 LLM 网关，你可以自行部署。它提供了一个统一的 API 端点···

ThinkWatch 开源 仅开源

给企业 AI 接入装上安全闸门，统一管控、审计、控费

ThinkWatch 是一个面向企业的 AI 安全堡垒机，为 AI API 和 MCP（模型上下文协议）访问提供统一代理···

Atomic-Chat 开源 可打开

本地跑大模型，私密离线聊天，告别云端依赖

Atomic-Chat 是一款面向本地智能体的 AI 对话应用与推理引擎，旨在让用户完全离线、私密地运行开源···

ungate 开源 免费 仅开源

用订阅账号在 Cursor 里白嫖 AI，省下 API 钱

ungate 是一个开源工具，旨在让用户将已有的 Claude 或 ChatGPT 订阅服务直接用于 Cursor 编辑器，···

cli 开源 免费 仅开源

用代码图谱给 AI 编程省 token，只喂相关代码，不烧钱。

这是一个用 Go 语言编写的命令行工具，通过构建代码图谱来帮助开发者节省 AI 代理的 token 成本。它···

anemll-flash-llama.cpp 开源 免费 仅开源

让 Mac 统一内存也能跑动超大 MoE 模型

anemll-flash-llama.cpp 是 llama.cpp 的一个分支，专门为 Apple Silicon 优化大型 MoE（混合专家）···

anolisa 开源 仅开源

用 Rust 打造 AI 代理的底层操作系统，让多代理协同更稳更安全。

ANOLISA（Agentic Nexus Operating Layer & Interface System Architecture）是一个用 Rust 构建的···