基础设施

APIPark 开源 免费 仅开源

一个网关管所有AI大模型，统一接入、负载均衡、灾备无忧。

APIPark 是一个云原生的 AI 与 API 网关，专为大规模语言模型（LLM）的接入和管理而设计。它解决了···

ComfyUI-Nvidia-Docker 开源 免费 仅开源

一条命令拉起带 GPU 的 ComfyUI，权限不打架

ComfyUI-Nvidia-Docker 是把 ComfyUI 封装进 Docker 镜像的开源部署方案，面向使用 NVIDIA 显卡的 ···

nnterp 开源 免费 仅开源

一套接口读改任意大模型内部，可解释性实验不再重复造轮子

nnterp 是一个面向大语言模型机制可解释性研究的 Python 工具库，核心目标是统一访问 LLM 内部模块···

pgvector_pgsql_windows 开源 免费 仅开源

Windows 上原生跑 pgvector，免 Docker 直接装

pgvector_pgsql_windows 是一个将 pgvector 扩展原生编译到 Microsoft Windows 环境下的开源项目。···

harbor 开源 免费 仅开源

一条命令启动完整 AI 技术栈，告别繁琐配置

Harbor 是一个开源项目，旨在解决 AI 技术栈配置繁琐的问题。它通过一条命令即可启动一套完整预配置···

llmdocparser 开源 免费 仅开源

用大模型读懂PDF，自动提取关键信息，告别手动整理

llmdocparser 是一个基于 Python 的 PDF 解析与内容分析工具，它利用大型语言模型（LLM）来理解和提···

ramalama 开源 免费 仅开源

像拉容器镜像一样拉取并运行AI模型，本地推理一键搞定。

RamaLama 是一个开源开发者工具，旨在简化 AI 模型的本地部署与推理流程。它通过容器化技术，让开发···

LLMServingSim 开源 可打开

不买卡也能仿真 LLM 推理集群的吞吐与延迟

LLMServingSim 2.0 是一个面向大语言模型（LLM）推理服务基础设施的仿真器，专为异构硬件与分离式（···

database-build 开源 可打开

浏览器里玩转 Postgres，AI 帮你写 SQL

database-build 是一个在浏览器中运行的 Postgres 沙箱环境，并集成了 AI 辅助功能（前身为 postgr···

tensorzero 开源 可打开

大模型上线后的监控调优全包办，出问题不再抓瞎

开源的 LLMOps 平台，将 LLM 网关、可观测性、评估、优化与实验管理整合于一体。团队可以在统一界面···

Awesome-Generation-Acceleration 开源 免费 仅开源

找生成模型加速方案，看这个清单就够了

这是一个专注于生成模型加速的资源合集，主要收集扩散模型、文本到图像生成等领域的推理加速技术。···

comfyui-api 开源 免费 仅开源

把 ComfyUI 封装成高并发 API，同步异步都能拿结果

comfyui-api 是一个基于 TypeScript 的轻量级 API 服务器，旨在让 ComfyUI 能够轻松地进行水平扩展···

plano 开源 可打开

为智能体应用打造的高性能 AI 原生网关，一键搞定路由、监控与安全。

Plano 是一个面向智能体应用的原生 AI 代理服务器与数据平面，用 Rust 编写。它解决的是 LLM 应用开···

midjourney-proxy 开源 可打开

把 Midjourney 变成 API，一行代码接入 AI 绘图

midjourney-proxy 是一个将 Midjourney 绘图能力封装为 API 的服务，通过代理 Discord 中的 Midjou···

cube-studio 开源 免费 仅开源

一站式拖拽构建AI流水线，轻松搞定大模型训练与推理

cube-studio 是一个基于云原生的开源 AI 平台，旨在统一管理机器学习、深度学习及大模型的完整生命···

comfyui-docker 开源 免费 仅开源

用 Docker 一键跑起 ComfyUI，告别环境配置地狱

comfyui-docker 是一个为 ComfyUI 提供 Docker 镜像的项目。ComfyUI 是一款基于节点/图界面的 Stab···

split-lang 开源 免费 仅开源

一句话拆开混合语言，让 NLP 更精准

split-lang 是一个用于 NLP 任务的文本语言分割工具，能将混合多种语言的文本按语言边界切分，例如···

PaperBot 开源 免费 仅开源

把论文库变成AI助手，问答式搞定文献调研

PaperBot 是一个面向学术研究者的个人 AI 基础设施，旨在解决文献检索、阅读和知识管理中的信息过载···

xgrammar 开源 免费 仅开源

让大模型输出严格符合格式，又快又稳

xgrammar 是一个专注于结构化生成的开源库，旨在为大型语言模型提供快速、灵活且可移植的约束解码能···

latitude-llm 开源 免费+付费 可打开

追踪 Agent 失败点，派编码助手修好并用真实轨迹验证

Latitude 是一个面向 AI Agent 的开源可观测性平台。它解决的核心问题是：当 LLM Agent 在生产环境···

llm-sandbox 开源 免费 仅开源

给 LLM 一个安全的代码沙箱，跑 AI 生成的代码不翻车

llm-sandbox 是一个轻量级、可移植的 LLM 沙箱运行时（代码解释器）Python 库。它解决了在大语言模···

esp-ai 开源 不稳定

让 ESP32 秒变 AI 语音助手，低成本快速接入大模型

esp-ai 是一个面向 ESP32/ESP8266 等嵌入式设备的极简 AI 接入方案，旨在以最低成本和最简单的方式···

Mooncake 开源 仅开源

用缓存复用和分离式调度，让大模型服务又快又省

Mooncake 是 Moonshot AI 为其 Kimi 大语言模型服务打造的高性能推理平台，核心解决 LLM 服务中的高···

screenpipe 开源 仅开源

录屏24小时，喂给AI代理，本地私密自动化

screenpipe 是一个本地优先的屏幕录制与 AI 代理连接工具，由 YC 孵化的开源项目。它持续记录屏幕内···