基础设施

e2a 开源 可打开

给AI智能体装上安全邮件收发网关，快速集成邮件能力

e2a 是首个面向 AI 智能体的开源邮件网关，旨在解决智能体无法安全、可靠地收发邮件的问题。它提供···

hermes-labyrinth 开源 免费 可打开

给 Hermes Agent 装上行车记录仪，看清每一步决策路径

Hermes Labyrinth 是 Nous Research 为 Hermes Agent 打造的只读可观测性插件，旨在解决自主智能体···

Sentinel_Guard 开源 免费 仅开源

给 AI 应用加一道安全网关，拦截注入与越权调用

Sentinel_Guard 是一个面向 AI 应用、智能体（Agent）和 AI 增强 IDE 的安全优先 LLM 网关与护栏系···

agentsre 开源 免费 仅开源

给AI智能体装上SRE仪表盘，提前发现质量劣化

agentsre 是一个面向智能体 AI（Agentic AI）的 SRE 可靠性观测与度量工具，用 Python 实现。它要解···

statewave 开源 可打开

给AI智能体装上可追溯的长期记忆，告别查询式检索

statewave 是一个面向 AI 智能体的开源记忆运行时，旨在解决智能体长期记忆的可靠性和可复现性问题···

tokentelemetry 开源 免费 仅开源

本地追踪 AI 智能体令牌消耗，成本一目了然

TokenTelemetry 是一个面向 AI 自主智能体与编码智能体的本地化令牌遥测仪表盘，用于追踪令牌消耗、···

pi-anthropic-auth 开源 免费 仅开源

给 Pi 扩展一键接上 Anthropic 账号授权

pi-anthropic-auth 是面向 Pi 扩展体系的 Anthropic OAuth 兼容适配包，用 TypeScript 编写。它解决···

free-ai 开源 免费+付费 可打开

免费获取 OpenAI 兼容 API，50+ 模型免费用

FreeTheAi 是一个免费提供 OpenAI 兼容 API 的开源项目，旨在降低 AI 应用开发门槛。它通过 Discor···

litefuse 开源 可打开

给AI智能体装上监控和评分系统，调试优化不再抓瞎

Litefuse 是一个面向 AI 智能体的可观测性与评估平台，旨在解决开发者在构建和部署 LLM 应用时面临···

TensorRT-Model-Connect 开源 免费 仅开源

两条命令把 PyTorch 模型跑成 TensorRT 推理

TensorRT-Model-Connect 是一个面向 PyTorch 模型部署的工程化工具，目标是把训练好的模型快速转成···

spark-dashboard 开源 免费 仅开源

本地跑大模型，显卡和推理状态一屏看清

spark-dashboard 是一个面向本地 AI 推理场景的实时硬件与模型服务监控面板，用 TypeScript 编写。···

gpu-telemetry 开源 免费 仅开源

一个代理，让每块 GPU 的消耗都精确到 Pod 或作业

gpu-telemetry 是一个面向 GPU 可观测性的开源项目，核心解决 GPU 资源在 Kubernetes 或 Slurm 集群···

Project_Chronos 开源 免费 仅开源

预测下一步专家，边算边从SSD预取，让MoE推理不停顿

Project_Chronos 是一个面向混合专家（MoE）大模型推理的基础设施项目，核心目标是消除因专家权重加···

leanctx 开源 免费 仅开源

不换代码，一键压缩提示词，立省 40-60% token 费用

leanctx 是一个用于生产环境 LLM 应用的即插即用提示词压缩工具。它基于 LLMLingua-2 模型，通过智···

kiwi-mem 开源 免费 仅开源

给 AI 伴侣装上会遗忘、会做梦的长期记忆

kiwi-mem 是一个自托管的 AI 伴侣记忆网关，定位为 OpenAI 兼容的代理层，解决长期陪伴型 AI 聊天中···

claude-code-proxy 开源 免费 待核验

本地转接口，让 Claude Code 用上别的模型订阅

claude-code-proxy 是一个用 Rust 编写的本地代理服务，它在本地启动一个兼容 Anthropic API 的端点···

aisix 开源 仅开源

用 Rust 打造的统一 AI 网关，一套 API 接入所有主流大模型。

aisix 是一个用 Rust 构建的开源 AI 网关，为 LLM 和 AI 智能体提供统一的 OpenAI 兼容 API 接口。···

sndr_core_engine 开源 免费 仅开源

消费级显卡上榨干大模型性能，推理速度翻倍

SNDR Core Engine (Genesis) 是一个针对消费级 NVIDIA GPU（如 RTX 3090、A5000）的 vLLM 运行时补···

ijfw 开源 免费 仅开源

让多个 AI 编程代理协同工作，自动记忆、路由和互审，代码质量稳了。

IJFW 是一个面向 AI 编程代理的本地优先基础设施，由 Ferrox Labs 开发。它旨在解决 AI 编程工具在···

awesome-llm-token-optimization 开源 免费 仅开源

一站式收藏 LLM 省钱秘籍，快速降低 Token 成本

这是一个精选资源列表，汇集了降低大语言模型（LLM）Token 成本、提升生产环境效率的策略、工具、论···

smfs 开源 免费 仅开源

让 AI 像 grep 一样，秒搜所有文件内容

smfs 是一个专为 AI 智能体设计的文件系统，旨在解决智能体在处理海量异构文件（如 PDF、图片、视频···

byok-relay 开源 免费 仅开源

前端直连大模型，用户自带密钥，绕过 CORS 限制

byok-relay 是一个轻量级的中继服务，用于解决前端应用直接调用 LLM API 时遇到的 CORS 限制问题。···

codeburn 开源 免费 可打开

每分钱花哪了看得明明白白，AI 账单不再超支。

免费开源的本地工具，用于追踪 AI 编程的 Token 用量与成本，覆盖 Claude Code、Cursor、Codex、Ge···

NoLlama 开源 免费 仅开源

让 Intel NPU 跑起 Ollama 风格本地大模型 API

NoLlama 是一个面向 Intel OpenVINO 兼容硬件的推理服务，提供与 Ollama 和 OpenAI 兼容的 API 接口···