基础设施

sonar 开源

多硬件加速的 LLM 推理引擎，让大模型跑得更快更省

sonar 是一个面向大规模 LLM 推理场景的高性能引擎，用 C++ 编写，旨在解决大模型部署时的高延迟、···

TorchStream 开源

让 PyTorch 模型像流式 API 一样边输入边输出，实时响应

TorchStream 是一个让 PyTorch 模型支持流式推理的 Python 库。它解决了传统 PyTorch 模型在推理时···

lmdeploy 开源

一键压缩部署大模型，推理快、显存省、吞吐高

LMDeploy 是一个专为大语言模型（LLM）设计的压缩、部署和服务工具包。它解决了 LLM 在实际生产环境···

inference 开源

一行代码切换任意大模型，部署推理全搞定

Xinference 是一个统一推理引擎，旨在解决多模型部署与调用碎片化问题。它允许开发者通过修改一行代···

BentoDiffusion 开源

用 BentoML 一键部署扩散模型，快速上线图像生成服务

BentoDiffusion 是一个基于 BentoML 的扩散模型服务集合，旨在简化 Stable Diffusion 等扩散模型的···

airllm 开源

4GB 显卡跑 70B 大模型，显存不够也能玩转

AirLLM 是一个针对大模型推理优化的开源工具，核心目标是让 70B 级别的超大模型能够在仅 4GB 显存的···

local-ai 开源

国内一键装好 AI 工具，不用魔法直接跑

local-ai 是一个面向 Mac 和 Windows 用户的 AI 工具一键安装包，旨在解决国内用户配置 AI 环境时遇···

eidos 开源

把散落的数据收拢起来，按你的方式管理

Eidos 是一个可扩展的个人数据管理框架，旨在帮助用户统一管理和利用分散在各处的个人数据。它解决···

ROCm-RX6600XT 开源

让AMD显卡跑起PyTorch和TensorFlow，深度学习不再被NVIDIA垄断。

这是一个面向AMD Radeon RX 6600 XT显卡的ROCm安装指南，旨在帮助用户在Linux系统上配置AMD GPU的深···

GUNDAM 开源

用语言模型自动给数据排优先级，让系统先处理最重要的。

GUNDAM 是一个利用语言模型对数据进行优先级排序的数据管理系统。它解决的核心问题是：在数据量庞大···

dify-helm 开源

一条 helm install 把 Dify 全套 LLM 应用栈部署到 K8s

dify-helm 是 Dify（原 langgenious/dify）的官方 Kubernetes Helm Chart 仓库，用于把 Dify 这套 ···

hordelib 开源

把 ComfyUI 封装成简单接口，让 AI Horde 轻松调用生成图像。

hordelib 是一个围绕 ComfyUI 的封装库，旨在让 AI Horde 分布式计算网络能够调用 ComfyUI 的图像生···

WebextLLM 开源

在浏览器里直接跑大模型，让网页应用秒变智能

WebextLLM 是一个浏览器扩展，旨在将大语言模型直接嵌入浏览器中，为网页应用提供本地 AI 能力。它···

langsmith-sdk 开源

给 LLM 应用装上黑匣子，调用全记录、效果可对比

langsmith-sdk 是 LangChain 官方推出的 LangSmith 平台客户端 SDK，提供 Python 与 JavaScript 实···

console 开源

集中管密钥，团队和 AI 代理都能安全取用

Console 是一个面向团队和 AI 代理的密钥管理工具，用 TypeScript 编写。它要解决的问题是：在多人···

stable-diffusion-docker 开源

一键启动全功能AI绘画环境，省去配置烦恼

stable-diffusion-docker 是一个将 Stable Diffusion WebUI 及其常用扩展打包成 Docker 镜像的开源···

mlinfra 开源

一条命令，在任何地方部署生产级 ML 基础设施

mlinfra 是一个专注于机器学习基础设施和 MLOps 工具链快速部署的开源项目。它旨在解决 ML 团队在搭···

redis-llm 开源

用 Redis 给 LLM 装个长期记忆，轻松访问私有数据

redis-llm 是一个将大型语言模型（LLM）与 Redis 深度集成的开源项目，旨在解决 LLM 访问私有数据和···

langfuse-docs 开源

一站式调试和优化你的 LLM 应用，从追踪到评估全搞定

Langfuse 是一个开源的 LLM 工程平台，专注于大语言模型应用的开发与调试。它提供可观测性、评估、···

ScalableVectorSearch 开源

用C++打造高性能向量搜索，快速找到相似项。

ScalableVectorSearch 是一个用 C++ 实现的向量搜索引擎，专注于提供高性能的相似性搜索能力。它解···

langfuse 开源

一站式搞定 LLM 应用调试、评估和提示词管理

Langfuse 是一个开源的 AI 工程平台，专注于 LLM 应用的可观测性、评估与提示词管理。它解决了 LLM···

restai 开源

一键将多种AI模型封装为API，可视化搭建AI服务

RESTai 是一个开源的 AI 即服务（AIaaS）平台，旨在将多种 AI 能力统一封装为 RESTful API，降低 A···

ctransformers 开源

在 Python 里直接跑 GGML 量化模型，本地推理又快又省资源。

ctransformers 是一个 Python 绑定库，它封装了基于 GGML 库的 C/C++ Transformer 模型实现，让 Py···

pixeltable 开源

像用数据库一样管理多模态 AI 数据，省去管道工程

Pixeltable 是一个面向 AI 数据应用的多模态数据后端，旨在统一管理图像、视频、文本等非结构化数据···