基础设施

swiftLLM 开源

用 2000 行代码实现 vLLM 级推理性能，研究利器

swiftLLM 是一个极简但高性能的 LLM 推理系统，专为研究目的设计。它用仅约 2000 行 Python 代码实···

ADI-Stable-Diffusion 开源

用 C++ 和 ONNXRuntime 让 Stable Diffusion 推理飞起来

ADI-Stable-Diffusion 是一个基于 C++ 和 ONNXRuntime 的 Stable Diffusion 推理加速库，旨在解决 ···

sd-webui-all-in-one 开源

一键安装管理多种AI绘图工具，省去折腾环境

这是一个面向 Stable Diffusion 生态的一体化管理工具，旨在解决多种 AI WebUI（如 ComfyUI、Foooc···

mirage 开源

把整个LLM推理塞进一个GPU内核，砍掉反复启动开销

Mirage 是一个面向大语言模型推理的持久化内核编译项目，核心思路是把整个 LLM 推理流程编译成一个···

bex 开源

Git push 即部署，让 AI 智能体成为你的运维搭档。

bex 是一个开源的 AI 原生部署平台，定位为 Render 的替代品。它让开发者通过 Git push 即可完成构···

Olares 开源

把个人设备变成专属 AI 云，让智能体 7x24 小时在线干活

Olares 是一个开源的个人云操作系统，专为常驻智能体（Always-On Agents）设计。它解决了个人在本地···

paddler 开源

自托管 LLM 负载均衡，简单部署，CPU/GPU 通吃

paddler 是一个用 Rust 编写的开源 LLM/VLM 负载均衡与服务平台，专为自托管大语言模型和多模态模型···

llama3.java 开源

纯 Java 跑 Llama 3，不装 Python 也能本地推理

llama3.java 是一个纯 Java 实现的 Llama 3 及后续版本的大语言模型推理库，无需依赖 C/C++ 或 Pyt···

LLM-Tools 开源

输入模型参数，秒算 GPU 显存和硬件需求

LLM-Tools 是一个开源的计算器工具，专门用于估算大型语言模型（LLM）系统的硬件需求。它解决了在部···

logfire 开源

一键接入，实时追踪 LLM 调用，快速定位 AI 应用故障

Logfire 是一个面向生产环境 LLM 和智能体系统的 AI 可观测性平台，旨在解决 AI 应用调试难、追踪难···

semantic-cache 开源

让缓存懂语义，相似查询秒命中，降低后端压力

semantic-cache 是一个基于语义相似度而非词法等值匹配的模糊键值存储库。它解决的是传统缓存或键值···

ollama-operator 开源

用 K8s 声明式 YAML 一键部署和管理 Ollama 大模型服务

ollama-operator 是一个用 Go 编写的 Kubernetes Operator，目标是把 Ollama 大语言模型运行时以声···

picollm 开源

让大模型在手机和嵌入式设备上流畅跑起来

picollm 是一个专注于设备端（on-device）大语言模型推理的开源项目，通过 X-Bit 量化技术实现高效···

WilmerAI 开源

多模型路由中间件，让提示词按规则自动流转

WilmerAI 是一个较早出现的 LLM 语义路由中间件，位于你的应用与多个 LLM API 之间，通过多层提示词···

anyquery 开源

用 SQL 一把梭，轻松查遍 60+ 工具数据，还能喂给 AI

anyquery 是一个用 Go 编写的开源工具，它提供统一的 SQL 接口，让用户可以通过 SQL 查询 60 多种外···

btp-genai-starter-kit 开源

一键自动化配置SAP AI环境，快速启动你的生成式AI项目

这是一个面向SAP BTP平台的生成式AI起步工具包，旨在帮助开发者快速上手genAI开发。它通过Terrafor···

EmbedAnything 开源

用 Rust 打造极速、安全的嵌入与索引流水线，让 AI 应用更快更稳

EmbedAnything 是一个基于 Rust 构建的高性能、模块化、内存安全的向量嵌入与索引引擎，专为生产环···

NanoLLM 开源

本地跑大模型，量化多模态一条龙

NanoLLM 是一个专注于本地大模型推理优化的开源工具库，提供类似 HuggingFace 的简洁 API，支持模型···

langtrace 开源

一键接入，实时追踪 LLM 应用全链路，调试评估不再抓瞎。

Langtrace 是一个基于 OpenTelemetry 的开源端到端可观测性工具，专为 LLM 应用设计。它解决开发者···

LLMinator 开源

拖拽式界面，一键运行 Hugging Face 开源大模型

LLMinator 是一个基于 Gradio 的对话助手工具，旨在让用户直接从 Hugging Face 运行开源大语言模型···

ComfyUI-Windows-Portable 开源

解压即用的 ComfyUI 整合包，省去配置烦恼

ComfyUI-Windows-Portable 是一个面向 Windows 用户的 ComfyUI 独立整合包，预装了 40 多个常用自定···

thepipe 开源

用视觉大模型，把复杂文档秒变干净数据

thepipe 是一个基于视觉语言模型（VLM）的文档数据清洗工具，专门解决从复杂文档（如扫描件、PDF、···

FlagGems 开源

用 Triton 写 LLM 算子，一套代码跑多种 GPU

FlagGems 是一个用 Triton 语言实现的大语言模型算子库，目标是提供一套高性能、可移植的 GPU 算子···

get-started 开源

把本地 Ollama 一键变成高可用云服务

get-started 是一个面向 Ollama 的云原生部署堆栈，旨在将本地运行的 Ollama 模型服务扩展到云端。···