基础设施

aitune 开源 免费 可打开

自动调优 NVIDIA GPU 推理配置，省去手工调参

NVIDIA AITune 是英伟达推出的推理调优工具包，面向深度学习模型在 NVIDIA GPU 上的部署与性能优化···

cactus 开源 免费 仅开源

让手机和机器人秒级跑起 AI 模型，省电又流畅

cactus 是一个专为移动设备、可穿戴设备、智能家居和机器人等边缘场景设计的轻量级 AI 推理引擎。它···

memory-lancedb-pro 开源 免费 仅开源

让智能体记忆更准、更清晰，开箱即用的混合检索与管理工具。

memory-lancedb-pro 是一个为 OpenClaw 智能体打造的增强型 LanceDB 记忆插件，主要解决智能体在长···

MachineAuth 开源 免费 仅开源

让 AI 代理安全访问 API，权限可控可审计

MachineAuth 是一个为 AI 代理提供认证与权限基础设施的开源项目，使用 Go 语言开发。它解决的核心···

cftunnel 开源 免费 仅开源

一条命令，内网服务秒变公网可访问，免费或自建任选。

cftunnel 是一个基于 Go 语言开发的全协议内网穿透 CLI 工具，同时集成了 Cloudflare Tunnel 和 fr···

muninndb 开源 免费 仅开源

会遗忘、会强化、带置信度的 AI 原生记忆库

MuninnDB 是一个用 Go 编写的认知数据库，定位为新型数据存储，而非向量库、图数据库或 RAG 封装。···

os-moda 开源 仅开源

跟服务器说人话，AI 替你干活，改坏了秒回滚

os-moda 是一个面向 AI 智能体设计的操作系统层，让你用自然语言与 NixOS 服务器交互，替代传统的 ···

snip 开源 免费 仅开源

给 AI 编程工具装上过滤器，Token 立省 60%

snip 是一个用 Go 编写的命令行代理工具，专为减少大语言模型（LLM）的 token 消耗而设计，官方宣称···

BYOKEY 开源 仅开源

把 AI 订阅变成标准 API，让编程工具直接调用

BYOKEY 是一个用 Rust 编写的 AI 网关，将各种 AI 订阅服务转换为标准的 API 端点，兼容 OpenAI 和···

vpscheck 开源 免费 仅开源

一键检测 VPS 解锁和性能，买前扫雷买后安心

vpscheck 是一个用 Shell 编写的 VPS 全能检测脚本，主要解决用户在购买或使用 VPS 后，需要快速了···

picolm 开源 免费 仅开源

在 10 美元开发板上跑 10 亿参数大模型，边缘 AI 也能玩转。

picolm 是一个极轻量级的开源大语言模型推理引擎，专为在超低资源设备上运行 10 亿参数模型而设计，···

vmlx 开源 可打开

Mac 上跑 MLX 模型，一个格式搞定加载与量化

vMLX 是一个面向苹果 MLX 框架的模型运行与量化工具，核心创新是提出 JANGQ 格式——可以理解为“M···

agentsecrets 开源 已失效

让 AI 代理安全使用凭证，无需泄露秘密

agentsecrets 是一个面向 AI 代理的零知识凭证基础设施，旨在让代理不仅能消费凭证，还能安全地操作···

CatGPT-Gateway 开源 免费 仅开源

把网页版 ChatGPT/Claude 变成免费 API，免密钥直接调用

CatGPT-Gateway 是一个将 ChatGPT 或 Claude 网页账号转化为 OpenAI 兼容 API 的开源网关。它通过浏···

mlx-serve 开源 可打开

在 Mac 上原生跑 LLM，兼容 OpenAI/Anthropic API，无需 Python

mlx-serve 是一个专为 Apple Silicon 设计的原生 LLM 推理服务器，使用 Zig 语言编写，无需 Python···

pegainfer 开源 可打开

纯 Rust 直调 CUDA，OpenAI 接口跑大模型

pegainfer 是一个用纯 Rust 编写的 LLM 推理引擎，底层直接调用 CUDA 内核，不依赖 PyTorch 或任何···

bc250 开源 免费 仅开源

用 PS5 同款 APU 主板，低成本跑本地大模型和文生图

bc250 是一份面向 AMD BC-250（PS5 同款 APU 主板）的开源配置指南与脚本集合，目标是把这块廉价硬···

SmarterRouter 开源 免费 仅开源

统一管理本地多模型，自动路由省成本，故障秒切换。

SmarterRouter 是一个面向本地 AI 实验室的智能 LLM 网关和路由工具，专门服务于 Ollama、llama.cp···

claude-tap 开源 免费 仅开源

本地拦截 AI 编程代理流量，可视化调试每个 API 调用

claude-tap 是一个面向 AI 编程代理的本地流量拦截与调试工具。它通过本地代理服务器捕获 Claude C···

llmfit 开源 免费 仅开源

一条命令，测出你的硬件能跑哪些 AI 模型

llmfit 是一个用 Rust 编写的命令行工具，旨在帮助用户快速评估和选择能在自己硬件上运行的 AI 模型···

RecSys-MLops 开源 免费 仅开源

一套代码串起推荐系统训练到推理全链路

RecSys-MLops 是一个面向推荐系统的高可扩展机器学习与数据系统工程实践项目，用 Python 编写，整合···

OmniRoute 开源 免费+付费 可打开

一个接口接入 290+ 模型，自动省钱还能无缝切换

OmniRoute 是一个开源的 AI 网关项目，旨在解决开发者在使用多种 AI 模型时面临的接口碎片化、成本···

clawmetry 开源 可打开

看清智能体每一步思考，调试不再靠猜。

clawmetry 是一个面向 AI 智能体的实时可观测性平台，支持 OpenClaw、NVIDIA NemoClaw、Claude Cod···

omlx 开源 免费 仅开源

Mac 菜单栏一键跑大模型，SSD 缓存突破内存限制，连续批处理提速

omlx 是一个专为 Apple Silicon 打造的 LLM 推理服务器，通过 macOS 菜单栏应用进行管理。它解决了···