基础设施

Belullama 开源 免费 仅开源

一键打包本地大模型和画图，开箱即用

Belullama 是一个将 Ollama、Open WebUI 和 Automatic1111（Stable Diffusion WebUI）打包在一起的···

ChatGPTReversed 开源 免费 仅开源

免费逆向 ChatGPT 网页版，一键转成标准 API 调用

ChatGPTReversed 是一个通过逆向工程封装 ChatGPT 网页版接口，并将其简化为标准 API 的开源项目。···

monocle 开源 免费 仅开源

给 LLM 应用装上行车记录仪，调用链一目了然

Monocle 是一个面向生成式 AI 应用代码的追踪框架，Python 实现，基于 OpenTelemetry 构建。它解决···

whodb 开源 可打开

统一管理多源数据，自动梳理血缘与质量，让数据资产清晰可控。

whodb 是一个面向数据访问与运维智能化的开源平台，定位在数据库管理与数据治理的交叉领域。它解决···

omniai 开源 免费 可打开

一个 Ruby 库，统一多家 AI 接口，切换模型像换插件一样简单。

OmniAI 是一个 Ruby 库，旨在统一多家 AI 提供商的 API，包括 OpenAI、Mistral、Anthropic、Google···

aibrix 开源 免费 仅开源

在 K8s 上跑大模型推理，省钱又弹性

AIBrix 是字节跳动开源的一套面向生成式 AI 推理的基础设施组件集合，目标是在 Kubernetes 上以更低···

ChatGPT-Mirror 开源 可打开

一键部署，秒开个人 ChatGPT 镜像站

ChatGPT-Mirror 是一个基于 Vue 构建的 ChatGPT 镜像站一键部署工具，旨在解决用户访问官方 ChatGP···

TypeGPT 开源 免费 仅开源

把大模型装进操作系统，随处唤起 AI 助手

TypeGPT 是一个将大语言模型（LLM）集成到操作系统层面的开源项目，旨在让 AI 能力渗透到用户与计算···

LARS 开源 免费 仅开源

本地跑大模型，读你的文档，回答带引用

LARS 是一个本地运行的 LLM 应用，旨在让你在自己的设备上使用大语言模型处理个人文档，并生成带有···

lilypad 开源 免费 仅开源

像管代码一样管模型，一键追踪、标注、迭代

lilypad 是一个开源的模型版本管理、追踪与标注工具，旨在解决 AI 开发中模型迭代混乱、实验追踪困···

extractous 开源 免费 仅开源

一条命令提取所有文档内容，快如闪电

extractous 是一个用 Rust 编写的高性能非结构化数据提取库，旨在解决从 PDF、Word、HTML、图片等各···

soperator 开源 免费 仅开源

用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。

soperator 是一个 Kubernetes 原生算子，用于在 Kubernetes 集群中运行和管理 Slurm 工作负载。它解···

AsyncDiff 开源 免费 仅开源

把扩散模型去噪步骤并行化，生成图片速度翻倍

AsyncDiff 是一个针对扩散模型（Diffusion Models）的推理加速工具，核心思想是通过异步去噪（Asyn···

gollama 开源 免费 仅开源

命令行一键管理 Ollama 模型，告别繁琐操作

gollama 是一个用 Go 语言编写的 Ollama 模型管理工具，旨在通过命令行简化 Ollama 本地模型的下载···

dagster-mflix-demo 开源 免费 仅开源

用 Dagster 跑通电影数据 ELT，快速上手现代数据栈

dagster-mflix-demo 是一个基于 Dagster 构建的示例 ELT 项目，演示如何将数据加载工具与 Snowflak···

MegaParse 开源 免费 仅开源

解析文档零丢失，直接喂给大模型

MegaParse 是一个专为 LLM 数据摄取而优化的文件解析工具，旨在解决传统解析器在处理 PDF、DOCX、P···

llama_deploy 开源 免费 仅开源

把 LlamaIndex 智能体工作流一键部署成生产级微服务

llama_deploy 是一个用于将 agentic 工作流部署到生产环境的开源项目，由 LlamaIndex 团队开发。它···

anthropic-on-aws 开源 仅开源

官方示例带你快速在 AWS 上跑通 Claude 调用

anthropic-on-aws 是 Anthropic 官方维护的示例代码仓库，面向希望在 AWS 上调用 Claude 模型的开发···

LMCache 开源 免费 仅开源

复用KV缓存，让LLM推理快如闪电

LMCache 是一个专为大型语言模型（LLM）推理场景设计的 KV 缓存加速层，旨在解决长上下文和多轮对话···

gguf-parser-go 开源 免费 仅开源

解析 GGUF 文件，算清显存占用和推理速度

gguf-parser-go 是一个用 Go 编写的 GGUF 文件解析与审查工具，主要面向本地大模型和扩散模型的部署···

desktop 开源 仅开源

给 AI 一个安全的桌面环境，让它放心操作电脑

E2B Desktop 是一个为大型语言模型（LLM）设计的桌面沙箱环境，它提供了一个带有图形界面的隔离运行···

KsanaLLM 开源 免费 仅开源

C++ 高性能 LLM 推理引擎，把并发吞吐压榨到极致

KsanaLLM 是一个用 C++ 编写的大语言模型推理基础设施，目标是提供高吞吐、低延迟的 LLM 服务能力。···

SharpVector 开源 免费 仅开源

在 .NET 应用内直接实现语义搜索，无需外部数据库。

SharpVector 是一个轻量级的内存语义搜索文本向量数据库，专为 .NET 应用设计。它解决了在 .NET 生···

pgai 开源 免费 仅开源

在 PostgreSQL 里直接跑 AI，省掉向量数据库和复杂管道

pgai 是一套专为 PostgreSQL 设计的 AI 工具集，旨在简化 RAG（检索增强生成）、语义搜索及其他 AI···