基础设施

agentsight 开源 可打开

用 eBPF 透视 AI Agent 的系统行为，无侵入定位问题

agentsight 是一个用 C 语言编写的轻量级系统级 AI Agent 可观测性工具，基于 eBPF 技术实现。它解···

llm-inference-handbook 开源 免费 可打开

一册看懂 LLM 推理全流程，选型调优不再靠猜

llm-inference-handbook 是一个用 TypeScript 编写的开源知识手册，系统梳理大语言模型推理（LLM I···

llm-checker 开源 免费 仅开源

一条命令扫描硬件，告诉你本地能跑哪些大模型

llm-checker 是一个用 JavaScript 编写的命令行工具，专门解决“我的电脑到底能跑哪个本地大模型”···

DataPup 开源 免费 仅开源

AI 加持的免费跨平台数据库客户端，让查询更智能

DataPup 是一款现代、AI 辅助的跨平台数据库客户端，基于 Electron 和 TypeScript 构建，完全免费。···

gguf-loader 开源 免费 仅开源

本地一键加载 GGUF 模型，离线聊天还带智能代理

gguf-loader 是一个专注于本地离线运行大语言模型的开源工具，旨在简化 GGUF 格式模型的加载与管理···

sample-genai-on-eks-starter-kit 开源 免费 仅开源

在 EKS 上快速搭建生产级 GenAI 基础设施，省心省力

这是一个在 Amazon EKS 上快速部署生产级生成式 AI 基础设施的工具包。它解决了企业在 AWS 上搭建 ···

llm-bridge 开源 免费 仅开源

一套格式打通多家大模型，自带日志与错误兜底

llm-bridge 是一个用 TypeScript 编写的 LLM 输入格式互操作层，目标是把不同大模型厂商各异的请求···

token-limit 开源 免费 仅开源

盯紧 AI 上下文用量，超限自动提醒，省钱省心

token-limit 是一个用于监控 AI 工具中代码和配置 token 消耗量的开源工具。它主要解决开发者在与 ···

Eloquent 开源 免费 仅开源

本地多GPU跑AI，图像语音代码全搞定，零订阅

Eloquent 是一个面向本地 AI 工作站的集成平台，旨在将多种 AI 能力整合到一个统一的桌面应用中，解···

eLLM 开源 免费 仅开源

长程推理跑 CPU，比 GPU 还快，省卡省钱

eLLM 是一个用 Rust 编写的 CPU 推理引擎，目标是在长程（long-horizon）大模型推理任务上跑得比 G···

gemini-cli-openai 开源 免费 仅开源

让 OpenAI 客户端不改代码直接调用 Gemini

gemini-cli-openai 是一个把 Google Gemini CLI 的调用能力包装成 OpenAI 兼容 API 的轻量代理，部···

semantica 开源 可打开

知识串成图谱，AI 回答有据可查能追责

以图为核心的 AI 基础设施，致力于为上下文管理与可问责 AI 系统提供支撑。通过知识图谱表达实体关···

ComfyUI-Distributed 开源 免费 仅开源

多张显卡一起跑 ComfyUI，出图更快

ComfyUI-Distributed 是面向 ComfyUI 的多 GPU 扩展，目标是把单机工作流拆分到多张显卡上并行执行···

coze-loop 开源 免费 仅开源

一站式调试、评估、监控你的 AI Agent，让开发更高效

coze-loop 是一个面向 AI Agent 的全生命周期优化平台，旨在解决 Agent 开发中调试难、评估缺、监控···

uzu 开源 免费 仅开源

用 Rust 打造超快本地音频 AI 推理，秒级生成声音

uzu 是一个用 Rust 编写的高性能 AI 模型推理引擎，专注于音频和音乐相关的模型部署。它解决了在本···

olleh 开源 免费 仅开源

用 Ollama 的姿势，跑 Apple 的模型

olleh 是一个用 Swift 编写的命令行工具，兼容 Ollama 的 API 和 CLI 接口，让开发者能够通过熟悉的···

genai-prices 开源 免费 仅开源

按 token 算清大模型调用花多少钱

genai-prices 是一个用 Python 编写的轻量级工具库，用于计算调用各类大模型推理 API 的费用。它解···

llm-scaler 开源 免费 仅开源

让大模型推理更快更省显存，本地部署也能跑得动

llm-scaler 是一个用 C++ 编写的大模型推理性能优化工具，目标是让本地或私有化部署的大语言模型在···

vLLM-metax 开源 免费 仅开源

让 vLLM 跑在沐曦 GPU 上，国产卡也能高吞吐推理

vLLM-metax 是社区维护的 vLLM 硬件插件，让 vLLM 推理引擎能够在沐曦（MetaX）GPU 上运行。vLLM 是···

LMeterX 开源 免费 仅开源

一键压测大模型与 HTTP 接口，AI 自动分析性能瓶颈

LMeterX 是一个基于 Python 的通用 API 压测平台，专注于大模型推理服务与业务 HTTP 接口的性能测试···

kite 开源 不稳定

一个界面管多集群，AI 帮你运维 K8s

kite 是一个轻量级、现代化的 Kubernetes 仪表盘，旨在将多集群与资源管理、企业级用户治理（OAuth···

FastFlowLM 开源 免费 仅开源

在 AMD NPU 上像用 Ollama 一样快速跑大模型

FastFlowLM 是一个专为 AMD Ryzen AI NPU 深度优化的开源推理引擎，目标是在 AMD 平台上实现大语言···

dsc 开源 免费 仅开源

轻量C++张量库，快速搭建推理原型

dsc 是一个用 C++ 实现的机器学习张量库与推理框架，旨在为深度学习模型提供基础的数据结构和计算能···

gateway 开源 免费 仅开源

给大模型装个防火墙，安全可控地接入 AI 应用

gateway 是一个开源的 LLM 防火墙，旨在为 AI 应用提供安全网关。它通过自托管方式，在应用与大模型···