基础设施

grps_trtllm 开源

用 C++ 榨干 GPU，OpenAI 服务比 vLLM 更快

grps_trtllm 是一个基于 TensorRT-LLM 和 C++ 实现的高性能 OpenAI 兼容 LLM 服务框架，旨在解决 v···

nano-vectordb 开源

百行代码搞定向量检索，轻松上手随意改

nano-vectordb 是一个极简、易修改的向量数据库，用 Python 编写，专为学习和快速原型设计而生。它···

mlops-project 开源

一键搭建MLOps流水线，让模型上线快人一步

mlops-project 是一个面向机器学习运维（MLOps）的基础设施项目，旨在帮助团队标准化机器学习模型的···

GenieX 开源

一行代码让高通设备跑起前沿大模型，离线AI轻松实现

GenieX 是一个专为高通设备设计的开源推理引擎，旨在让开发者通过几行代码即可在本地运行前沿的大语···

APIPark 开源

一个网关管所有AI大模型，统一接入、负载均衡、灾备无忧。

APIPark 是一个云原生的 AI 与 API 网关，专为大规模语言模型（LLM）的接入和管理而设计。它解决了···

nnterp 开源

一套接口读改任意大模型内部，可解释性实验不再重复造轮子

nnterp 是一个面向大语言模型机制可解释性研究的 Python 工具库，核心目标是统一访问 LLM 内部模块···

pgvector_pgsql_windows 开源

Windows 上原生跑 pgvector，免 Docker 直接装

pgvector_pgsql_windows 是一个将 pgvector 扩展原生编译到 Microsoft Windows 环境下的开源项目。···

harbor 开源

一条命令启动完整 AI 技术栈，告别繁琐配置

Harbor 是一个开源项目，旨在解决 AI 技术栈配置繁琐的问题。它通过一条命令即可启动一套完整预配置···

llmdocparser 开源

用大模型读懂PDF，自动提取关键信息，告别手动整理

llmdocparser 是一个基于 Python 的 PDF 解析与内容分析工具，它利用大型语言模型（LLM）来理解和提···

ramalama 开源

像拉容器镜像一样拉取并运行AI模型，本地推理一键搞定。

RamaLama 是一个开源开发者工具，旨在简化 AI 模型的本地部署与推理流程。它通过容器化技术，让开发···

LLMServingSim 开源

不买卡也能仿真 LLM 推理集群的吞吐与延迟

LLMServingSim 2.0 是一个面向大语言模型（LLM）推理服务基础设施的仿真器，专为异构硬件与分离式（···

database-build 开源

浏览器里玩转 Postgres，AI 帮你写 SQL

database-build 是一个在浏览器中运行的 Postgres 沙箱环境，并集成了 AI 辅助功能（前身为 postgr···

tensorzero 开源

大模型上线后的监控调优全包办，出问题不再抓瞎

开源的 LLMOps 平台，将 LLM 网关、可观测性、评估、优化与实验管理整合于一体。团队可以在统一界面···

Awesome-Generation-Acceleration 开源

找生成模型加速方案，看这个清单就够了

这是一个专注于生成模型加速的资源合集，主要收集扩散模型、文本到图像生成等领域的推理加速技术。···

comfyui-api 开源

把 ComfyUI 封装成高并发 API，同步异步都能拿结果

comfyui-api 是一个基于 TypeScript 的轻量级 API 服务器，旨在让 ComfyUI 能够轻松地进行水平扩展···

plano 开源

为智能体应用打造的高性能 AI 原生网关，一键搞定路由、监控与安全。

Plano 是一个面向智能体应用的原生 AI 代理服务器与数据平面，用 Rust 编写。它解决的是 LLM 应用开···

midjourney-proxy 开源

把 Midjourney 变成 API，一行代码接入 AI 绘图

midjourney-proxy 是一个将 Midjourney 绘图能力封装为 API 的服务，通过代理 Discord 中的 Midjou···

cube-studio 开源

一站式拖拽构建AI流水线，轻松搞定大模型训练与推理

cube-studio 是一个基于云原生的开源 AI 平台，旨在统一管理机器学习、深度学习及大模型的完整生命···

comfyui-docker 开源

用 Docker 一键跑起 ComfyUI，告别环境配置地狱

comfyui-docker 是一个为 ComfyUI 提供 Docker 镜像的项目。ComfyUI 是一款基于节点/图界面的 Stab···

split-lang 开源

一句话拆开混合语言，让 NLP 更精准

split-lang 是一个用于 NLP 任务的文本语言分割工具，能将混合多种语言的文本按语言边界切分，例如···

PaperBot 开源

把论文库变成AI助手，问答式搞定文献调研

PaperBot 是一个面向学术研究者的个人 AI 基础设施，旨在解决文献检索、阅读和知识管理中的信息过载···

xgrammar 开源

让大模型输出严格符合格式，又快又稳

xgrammar 是一个专注于结构化生成的开源库，旨在为大型语言模型提供快速、灵活且可移植的约束解码能···

latitude-llm 开源

追踪 Agent 失败点，派编码助手修好并用真实轨迹验证

Latitude 是一个面向 AI Agent 的开源可观测性平台。它解决的核心问题是：当 LLM Agent 在生产环境···

llm-sandbox 开源

给 LLM 一个安全的代码沙箱，跑 AI 生成的代码不翻车

llm-sandbox 是一个轻量级、可移植的 LLM 沙箱运行时（代码解释器）Python 库。它解决了在大语言模···