基础设施

LLMinator 开源 免费 仅开源

拖拽式界面，一键运行 Hugging Face 开源大模型

LLMinator 是一个基于 Gradio 的对话助手工具，旨在让用户直接从 Hugging Face 运行开源大语言模型···

ComfyUI-Windows-Portable 开源 免费 仅开源

解压即用的 ComfyUI 整合包，省去配置烦恼

ComfyUI-Windows-Portable 是一个面向 Windows 用户的 ComfyUI 独立整合包，预装了 40 多个常用自定···

thepipe 开源 免费 仅开源

用视觉大模型，把复杂文档秒变干净数据

thepipe 是一个基于视觉语言模型（VLM）的文档数据清洗工具，专门解决从复杂文档（如扫描件、PDF、···

FlagGems 开源 免费 仅开源

用 Triton 写 LLM 算子，一套代码跑多种 GPU

FlagGems 是一个用 Triton 语言实现的大语言模型算子库，目标是提供一套高性能、可移植的 GPU 算子···

xDiT 开源 免费 仅开源

多卡并行加速 DiT 出图，单卡跑不动的高分辨率也能秒级生成

xDiT 是一个面向扩散 Transformer（DiT）模型的可扩展推理引擎，核心解决 DiT 类模型（如 Stable D···

get-started 开源 仅开源

把本地 Ollama 一键变成高可用云服务

get-started 是一个面向 Ollama 的云原生部署堆栈，旨在将本地运行的 Ollama 模型服务扩展到云端。···

NeuroSandboxWebUI 开源 免费 仅开源

一个界面玩转本地文本、图像、视频、音频 AI 模型

NeuroSandboxWebUI 是一个本地运行的神经网络模型 WebUI，基于 Python 和 Gradio 构建，支持文本、···

MyScaleDB 开源 免费 仅开源

用SQL同时搞定向量搜索和全文检索，AI应用数据底座一步到位

MyScaleDB 是一个基于 ClickHouse 二次开发的开源数据库，专注于高性能向量搜索与全文搜索的融合。···

ax-llm 开源 免费 仅开源

把大模型塞进爱芯芯片，OpenAI 接口即插即用

ax-llm 是爱芯元智（AXera）AI 芯片上的大模型部署工具，目标是把 LLM 和 VLM 推理搬到 AX620E、AX···

rknn-llm 开源 免费 仅开源

把大模型塞进瑞芯微开发板，NPU 加速离线跑

rknn-llm 是瑞芯微（Rockchip）官方开源的端侧大语言模型部署工具包，面向 RK3588、RK3576 等 NPU ···

lix 开源 可打开

给任意文件装上时光机，让AI变更可追溯

lix 是一个用 Rust 编写的通用版本控制系统，专为任意文件格式设计，尤其关注 AI 智能体场景下的变···

vector-inference 开源 免费 仅开源

在 Slurm 集群上直接跑 LLM 推理服务

vector-inference 是一个面向 Slurm 集群的 LLM 推理服务框架，目标是让团队在已有 HPC 调度系统上···

nextjs-vllm-ui 开源 免费 仅开源

给 vLLM 一键配上类 ChatGPT 聊天界面

nextjs-vllm-ui 是一个面向 vLLM 推理服务的全功能 Web 前端，使用 Next.js 与 Tailwind CSS 构建。···

JetStream 开源 免费 仅开源

在 TPU 上榨干每一分性能，让 LLM 推理更快更省内存

JetStream 是一个面向 XLA 设备（当前以 TPU 为主，未来计划支持 GPU）的 LLM 推理引擎，专注于提升···

gpt4local 开源 免费 仅开源

本地跑 GPT，文档问答秒回，OpenAI 接口无缝换

gpt4local 是一个轻量级的本地大语言模型推理工具，提供 OpenAI 兼容的 API 接口，并支持文档问答。···

MinerU 开源 免费 仅开源

把 PDF/Word 一键转成 AI 能读懂的 Markdown，让文档直接喂给大模型。

MinerU 是一个开源工具，能将 PDF、Word 等复杂文档转换为适合大语言模型（LLM）使用的 Markdown 或···

neo4j-graphrag-python 开源 免费 仅开源

把知识图谱变成 RAG 引擎，让 AI 回答更懂关系

neo4j-graphrag-python 是 Neo4j 官方推出的 Python 库，用于将知识图谱与检索增强生成（RAG）结合···

mistral.rs 开源 免费 仅开源

用 Rust 快速跑大模型，本地部署低延迟

mistral.rs 是一个用 Rust 编写的高性能、灵活的 LLM 推理引擎，旨在提供快速且可定制的模型推理服···

awesome-open-source-data-engineering 开源 免费 仅开源

一张清单，搞定数据工程选型

这是一个精选开源数据工程工具列表，旨在帮助数据工程师和分析平台构建者快速找到合适的开源组件。···

gemma.cpp 开源 免费 仅开源

纯 C++ 本地跑 Gemma，无需 Python 依赖

gemma.cpp 是 Google 官方开源的轻量级独立 C++ 推理引擎，专门用于在本地运行 Gemma 系列大语言模···

clearml-fractional-gpu 开源 免费 仅开源

一块GPU跑多个容器，显存限制+时间切片，利用率翻倍

ClearML Fractional GPU 是一个基础设施工具，旨在解决单个 GPU 上运行多个容器时的资源隔离问题。···

agentos 开源 免费 仅开源

把代理当进程跑，无需沙箱虚拟机，直接嵌入现有后端。

agentos 是一个用 Rust 编写的开源库，旨在为 AI 代理提供类似操作系统的底层支持。它解决了代理运···

daytona 开源 可打开

让 AI 代码在安全沙箱里跑起来，不怕搞崩系统

Daytona 是一个为 AI 生成的代码提供安全、弹性运行基础设施的开源项目。它解决了 AI 编程助手和智···

LLM-TPU 开源 免费 仅开源

在算能TPU上跑大模型，边缘部署快人一步

LLM-TPU 是一个面向算能（Sophgo）BM1684X 和 BM1688 系列 TPU 芯片的开源推理项目，旨在让生成式 ···