基础设施

claude-code-router 开源 免费+付费 可打开

本地路由层，让 AI Agent 自由切换模型、组合能力、掌控成本

claude-code-router 是一个本地运行的 AI Agent 控制平面，用 TypeScript 编写。它解决的核心问题是···

Awesome-Ollama-Server 开源 已失效

实时盯住 Ollama 服务，掉线卡顿一眼看到

Awesome-Ollama-Server 是一个面向 Ollama 本地大模型服务的监控与可用性检测系统。它解决的核心问···

kubernetes-for-ml-engineers 开源 免费 仅开源

让ML工程师用最少时间掌握K8s部署模型

这是一个面向机器学习工程师的Kubernetes入门指南，旨在用最少的必要知识帮助ML工程师快速上手K8s。···

chitu 开源 免费 仅开源

让大模型推理更快更省，轻松部署高并发服务

chitu 是一个面向大语言模型的高性能推理框架，专注于效率、灵活性和可用性。它旨在解决 LLM 推理过···

FlexPrefill 开源 免费 仅开源

长序列推理加速，稀疏注意力省算力不掉精度

FlexPrefill 是一个针对大语言模型长序列推理的稀疏注意力机制实现，源自 ICLR 2025 Oral 论文。它···

nuxt-llms 开源 免费 仅开源

自动为 Nuxt 站点生成 llms.txt，让 AI 读懂你的网站

nuxt-llms 是一个 Nuxt 模块，用于在构建或运行时自动生成 /llms.txt 文件，把站点内容整理成面向大···

mesh-api 开源 已失效

让 LoRa 设备接入 AI 和 API，无网也能智能通信

MESH-API 是一个将 LoRa 网状网络与 AI 和各类 API 服务连接起来的开源路由器。它解决了在无蜂窝网···

RSD 开源 免费 仅开源

用奖励模型引导投机解码，又快又好地生成文本。

RSD是一个基于奖励引导的投机解码（Speculative Decoding）方法，旨在提升大语言模型推理时的效率与···

OpenArc 开源 免费 仅开源

让英特尔设备也能一键跑起 OpenAI 兼容的大模型服务

OpenArc 是一个面向英特尔硬件（CPU、核显、Arc 独显）的推理引擎，基于 OpenVINO 工具链构建，目标···

InferrLM 开源 免费 仅开源

在手机本地跑 AI，无需联网，保护隐私

InferrLM 是一个面向 iOS 和 Android 的端侧 AI 推理框架，基于 TypeScript 构建，旨在让移动应用无···

oss-llmops-stack 开源 免费 仅开源

一套组合拳，搞定 LLM 应用的路由、监控与调优

oss-llmops-stack 是一个模块化的开源 LLMOps 技术栈，旨在将 LLM 应用开发中的不同关注点分离，解···

xberg 开源 免费 仅开源

一个库解析百种文档，支持多语言调用，省去格式适配烦恼。

xberg 是一个多语言文档智能框架，核心用 Rust 编写，旨在解决文档解析碎片化问题。它能从 101 种格···

vllm-ascend 开源 免费 仅开源

让 vLLM 在昇腾 NPU 上跑起来，无缝用上大模型推理

vllm-ascend 是 vLLM 在华为昇腾（Ascend）硬件上的社区维护插件，旨在让 vLLM 这一主流大模型推理···

deepreasoning 开源 仅开源

让 Claude 思考过程可见，结合 DeepSeek R1 推理链，提升 AI 决策透明度。

DeepReasoning 是一个高性能的 LLM 推理 API 和聊天界面，它将 DeepSeek R1 的思维链（CoT）推理过···

markify 开源 免费 仅开源

把各种文件秒变 Markdown，让 RAG 和 LLM 更懂你

markify 是一个将多种格式文件转换为 Markdown 的工具，旨在帮助 RAG 或 LLM 更好地理解文档内容。···

production-stack 开源 免费 仅开源

把 vLLM 单机推理一键扩成 K8S 集群生产服务

production-stack 是 vLLM 官方推出的 Kubernetes 原生参考部署方案，目标是把单机 vLLM 推理服务扩···

VecturaKit 开源 免费 仅开源

在苹果设备上本地跑向量检索，构建隐私安全的 RAG 应用

VecturaKit 是一个基于 Swift 的本地向量数据库，专为设备端 RAG（检索增强生成）设计。它利用 MLT···

caddy-defender 开源 免费 仅开源

给 Caddy 装上 AI 爬虫盾，一键拦截训练数据抓取

caddy-defender 是一个 Caddy 服务器模块，用于拦截或处理来自 AI 爬虫和云服务的请求，防止它们抓···

wyoming_openai 开源 免费 仅开源

把本地语音服务变成 OpenAI 接口，轻松接入 Home Assistant

wyoming_openai 是一个将 Wyoming 协议转换为 OpenAI 兼容接口的中间代理服务。它主要解决 Home As···

VectorCode 开源 免费 仅开源

给代码建索引，让 LLM 更懂你的仓库

VectorCode 是一个代码仓库索引工具，旨在增强大语言模型（LLM）的代码理解能力。它通过解析代码仓···

yek 开源 免费 仅开源

把整个代码库一键打包成 LLM 能懂的上下文

yek 是一个用 Rust 编写的高性能命令行工具，专门用于将仓库或目录中的文本文件序列化为适合大语言···

BrowserAI 开源 免费 可打开

在浏览器里本地跑大模型，离线私密零成本

BrowserAI 是一个基于 WebGPU 的浏览器端本地 AI 推理引擎，支持在浏览器中直接运行 llama、deepse···

OM1 开源 免费 仅开源

让机器人开发像拼积木，硬件接口统一，AI 接入即插即用。

OM1 是一个面向机器人的模块化 AI 硬件抽象层（HAL），用 Go 语言编写。它旨在解决机器人开发中硬件···

inference-gateway 开源 免费 仅开源

一个网关统一接入本地与云端大模型

inference-gateway 是一个用 Go 编写的开源、云原生高性能 LLM 推理网关，目标是把分散的模型供应商···