基础设施

vllm-radiance 开源 免费 仅开源

让 R9700 显卡也能顺畅跑 vLLM 推理服务

vllm-radiance 是基于 vLLM 的定制分支，专门针对 AMD Radeon R9700 显卡做推理优化。vLLM 本身是主···

hpcguard 开源 免费 仅开源

给 AI 代理套上缰绳，别让它跑挂共享 HPC 登录节点

hpcguard 是一个面向科研场景的用户态安全网工具，主要解决 AI 智能体在共享 HPC 登录节点上失控、···

AgentMeasure 开源 免费 仅开源

把 Agent 的真实表现和商业价值，用一把尺子量清楚。

AgentMeasure 是一个面向智能体（Agent）软件的开放测量基础设施，旨在解决当前 AI Agent 应用中“···

dgx-spark-qwen38 开源 免费 仅开源

一条命令把 DGX Spark 变成私有 AI 服务器

dgx-spark-qwen38 是一个面向 NVIDIA DGX Spark 与 ASUS Ascent GX10 这类 GB10 桌面级 AI 硬件的本···

HyperQwen 开源 免费 仅开源

24G 消费卡跑 27B 大模型，吞吐翻倍

HyperQwen 是一套面向消费级显卡的大模型推理优化方案，目标是在单张 24 GB 显存显卡上高效运行 Qw···

qwen38-mtp 开源 免费 仅开源

一个 flag 让本地 Qwen 解码快四成

qwen38-mtp 是一个针对 Qwen3.8-27B 模型在消费级 GPU 上推理加速的开源方案。它发现 llama.cpp 中···

dsh-cost-meter 开源 免费 仅开源

按会话和模型实时算清 DeepSeek 花了多少钱

dsh-cost-meter 是 DeepSeek Harness 的成本追踪插件，用 JavaScript 编写，面向使用 DeepSeek API···

opencode2api 开源 免费 仅开源

把 Zen 接口转成 OpenAI/Anthropic 格式，多密钥自动轮转

opencode2api 是一个用 Go 编写的 API 代理服务，面向 OpenCode Zen / Zen Go 接口，对外提供 Open···

memoket-kite 开源 可打开

不搭向量库，让 AI Agent 用更少上下文记住长期对话

memoket-kite 是一个面向 AI Agent 的开源长期记忆引擎，最大特点是「无向量」——不依赖向量数据库···

freebuff-proxy 开源 免费 仅开源

聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。

freebuff-proxy 是一个面向 FreeBuff 编程模型的开源网关，兼容 OpenAI API 格式，提供 /v1/chat/c···

SkillCorpus 开源 可打开

把零散技能文件，变成智能体随手可用的检索库

SkillCorpus 是一个开源基础设施，旨在将分散的 SKILL.md 文件转化为经过整理、可直接用于检索的智···

pgbot 开源 可打开

让 AI 直接读懂你的 Postgres，问句话就出数据洞察

pgbot 是一个用 Go 编写的 PostgreSQL 智能层，专为 AI Agent 和应用设计。它把数据库从被动的存储···

freebucks-proxy 开源 免费 仅开源

多账号池化 OpenAI 网关，编码模型调用不再被限流卡住

freebucks-proxy 是一个用 Go 编写的多账号 OpenAI 兼容网关，主要面向编码类大模型（如 GPT、Clau···

gufo 开源 可打开

让 Strix Halo 小主机本地跑大模型，单机多用户都够快

gufo 是面向 AMD Strix Halo（gfx1151）平台的开源 AI 推理引擎，用 C++ 编写，专为 Ryzen AI 系列···

aisimulate 开源 免费 仅开源

不占 GPU 也能预测大模型服务性能并搜配置

aisimulate 是一个面向大模型推理服务的离线仿真与配置搜索工具。它不依赖真实 GPU 集群，而是通过···

harnessrouter 开源 免费+付费 可打开

一个 API 统一管理所有 AI 代理，自托管保安全。

HarnessRouter 是一个自托管的开源 AI 代理网关，基于 Apache-2.0 协议，为多种代理工具（如 Codex···

ESP32s3-LLM-Cluster 开源 免费 仅开源

7块ESP32-S3串成链，跑起0.4B三值量化大模型

ESP32s3-LLM-Cluster 是一个把 7 块 ESP32-S3 微控制器连成集群、在本地运行 0.4B 参数大语言模型的···

vllm-backport 开源 免费 仅开源

让旧显卡也能跑新版 vLLM 推理

vllm-backport 是 vLLM 的非官方回移分支，目标是把新版 vLLM 的推理能力带到官方已停止支持的旧款···

TE-Speed-MiniMaxH3-OSS 开源 免费 仅开源

给 MiniMax-H3 视频生成提速，缓存加速让出片更快

TE-Speed-MiniMaxH3-OSS 是一个针对 MiniMax-H3 视频生成模型的推理加速插件，通过超级缓存机制显著···

awesome-fde-resources 开源 免费 仅开源

一站式收藏夹，让前向部署工程师少走弯路

这是一个精选资源集合，面向“前向部署工程师”（Forward Deployed Engineers，FDE）这一新兴岗位。···

deepmem 开源 免费+付费 可打开

5分钟换掉Mem0，检索快2倍成本省10倍

deepmem 是一个面向 AI Agent 的开源记忆层基础设施，定位为 Mem0 的平替方案。它解决的核心问题是···

kimi-k3-in-c 开源 免费 仅开源

在普通 CPU 上跑起万亿参数大模型，内存仅需 8G。

kimi-k3-in-c 是一个用纯 C99 语言实现的 Kimi K3 模型推理引擎，它声称能在单颗 CPU 上、仅用 8.2···

grok2api-egress-enhancements 开源 免费 仅开源

代理出口质量自动守护，故障秒级隔离迁移，运维省心。

这是一个为 Grok2API 和 CPA 出口流量提供质量保障的基础设施工具，用 Go 编写。它解决的是代理出口···

microduck 开源

用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。

microduck 是一个用 Rust 编写的微型双足鸭子机器人项目。它解决了低成本、可复现的桌面级双足机器···