基础设施

FreeQwenApi 开源

把 Qwen 网页版变成免费 API，本地部署即用

FreeQwenApi 是一个基于 Node.js 的本地 API 代理服务，专为 Qwen AI 设计。它通过浏览器自动化技术···

easy-vecdb 开源

手把手带你从零实现向量数据库，搞懂原理不再黑盒

easy-vecdb 是一个从零开始的向量数据库原理与实践教程项目，由 Datawhale 社区维护。它通过 Jupyt···

lemonade 开源

一键在本地 GPU/NPU 上跑优化大模型，数据不出门

Lemonade 是一个面向本地 AI 应用的开源推理引擎，旨在让用户直接在自己的 GPU 和 NPU 上运行优化后···

mcp-gateway 开源

把 MCP 服务器管起来，K8s 里会话不丢、扩缩容不慌

mcp-gateway 是一个面向 MCP（Model Context Protocol）服务器的反向代理与管理层，用 C# 和 ASP.N···

mcp-context-forge 开源

统一网关聚合 MCP/A2A/REST，让 Agent 调用更安全可控。

mcp-context-forge 是一个面向 AI Agent 与工具调用的统一网关、注册中心和代理服务。它位于 MCP、···

llm-d-router 开源

让 K8s 推理入口按负载智能分发请求，降低排队与延迟

llm-d-router 是 llm-d 项目中的智能推理入口组件，用 Go 编写，基于 Kubernetes Gateway API 构建···

local-llms-on-android 开源

把大模型装进口袋，离线也能智能对话

这是一个在 Android 设备上本地运行大语言模型（LLM）的开源项目，支持 Gemma、Qwen、LLaMA 等主流···

thunderid 开源

为人类和 AI 智能体打造可组合的高性能身份认证与授权栈

ThunderID 是一个面向开发者的高性能开源身份管理栈，专为人类用户、AI 智能体及工作负载提供统一的···

model-compose 开源

一个 YAML 文件，快速部署生产级 AI 服务，随处运行。

model-compose 是一个受 docker-compose 启发的 AI 服务部署工具，旨在通过一个 YAML 文件快速定义···

chonkiejs 开源

快速切分长文本，轻松构建RAG应用

Chonkie 是一个轻量级、类型友好的文本分块（chunking）库，专为处理长文本而设计。它解决了在构建···

llm-d 开源

在 Kubernetes 上榨干 GPU，让 LLM 推理飞起来

llm-d 是一个专注于在 Kubernetes 上实现现代加速器（如 GPU）上最先进推理性能的开源项目。它解决···

LocalLLMClient 开源

在苹果设备上轻松跑本地大模型，离线也能用

LocalLLMClient 是一个用 Swift 编写的开源包，旨在让开发者能够在 iOS、macOS 和 Linux 上直接运行···

llm-d-kv-cache 开源

把大模型KV缓存拆到多机，省显存提吞吐

llm-d-kv-cache 是一个用 Go 编写的分布式 KV 缓存调度与卸载库，面向大语言模型推理服务场景。它解···

aegis-stack 开源

快速搭建生产级 FastAPI 搜索知识平台

aegis-stack 是一个基于 FastAPI 的生产级平台，采用模块化组件架构，并内置控制平面，旨在帮助开发···

cactus 开源

让手机和机器人秒级跑起 AI 模型，省电又流畅

cactus 是一个专为移动设备、可穿戴设备、智能家居和机器人等边缘场景设计的轻量级 AI 推理引擎。它···

sdk 开源

用 Python 轻松在 K8s 上跑 AI 任务，无需懂运维

sdk 是一个通用 Python SDK，旨在简化在 Kubernetes 上运行 AI 工作负载的流程。它解决了 AI 工程师···

flintml 开源

一键搞定 ML 基础设施，让团队专注干正事

flintml 是一个面向团队的一键式机器学习基础设施工具，旨在让团队无需深入底层细节即可快速搭建和···

comfyui-nix 开源

用 Nix 一键部署 ComfyUI，告别环境配置地狱

comfyui-nix 是一个为 ComfyUI 提供的 Nix flake 配置，旨在简化 Stable Diffusion 工作流的部署。···

traceAI 开源

给 AI 应用装上监控，追踪调用链和成本

traceAI 是一个基于 OpenTelemetry 的开源 AI 追踪框架，专为 AI 应用和框架设计。它解决了 AI 应用···

LiteRT-LM 开源

让大模型跑在手机端，离线低延迟还护隐私

LiteRT-LM 是 Google 推出的开源大语言模型端侧推理框架，前身为 TensorFlow Lite 相关能力演进而来···

llmgateway 开源

一个网关搞定所有大模型，统一管理、路由和分析请求。

llmgateway 是一个基于 TypeScript 构建的轻量级 LLM API 网关，旨在统一管理多个大模型提供商的请···

llm7.io 开源

一个网关接入所有主流大模型，告别多套 SDK。

LLM7.io 是一个用 TypeScript 编写的开源 API 网关，旨在统一接入多家 AI 提供商的模型接口。它解决···

llm-d-inference-sim 开源

不装 GPU 不跑模型，秒起一个假 vLLM 服务

llm-d-inference-sim 是一个用 Go 编写的轻量级推理模拟器，目标是复刻 vLLM 的对外行为，让开发者···

unbody 开源

像用 Supabase 一样，快速搭建 AI 应用的知识后端。

unbody 是一个模块化的开源后端，旨在成为 AI 时代的 Supabase，专为知识而非静态数据设计。它解决···