基础设施

esp-ai 开源

让 ESP32 秒变 AI 语音助手，低成本快速接入大模型

esp-ai 是一个面向 ESP32/ESP8266 等嵌入式设备的极简 AI 接入方案，旨在以最低成本和最简单的方式···

Mooncake 开源

用缓存复用和分离式调度，让大模型服务又快又省

Mooncake 是 Moonshot AI 为其 Kimi 大语言模型服务打造的高性能推理平台，核心解决 LLM 服务中的高···

screenpipe 开源

录屏24小时，喂给AI代理，本地私密自动化

screenpipe 是一个本地优先的屏幕录制与 AI 代理连接工具，由 YC 孵化的开源项目。它持续记录屏幕内···

Belullama 开源

一键打包本地大模型和画图，开箱即用

Belullama 是一个将 Ollama、Open WebUI 和 Automatic1111（Stable Diffusion WebUI）打包在一起的···

ChatGPTReversed 开源

免费逆向 ChatGPT 网页版，一键转成标准 API 调用

ChatGPTReversed 是一个通过逆向工程封装 ChatGPT 网页版接口，并将其简化为标准 API 的开源项目。···

whodb 开源

统一管理多源数据，自动梳理血缘与质量，让数据资产清晰可控。

whodb 是一个面向数据访问与运维智能化的开源平台，定位在数据库管理与数据治理的交叉领域。它解决···

omniai 开源

一个 Ruby 库，统一多家 AI 接口，切换模型像换插件一样简单。

OmniAI 是一个 Ruby 库，旨在统一多家 AI 提供商的 API，包括 OpenAI、Mistral、Anthropic、Google···

ChatGPT-Mirror 开源

一键部署，秒开个人 ChatGPT 镜像站

ChatGPT-Mirror 是一个基于 Vue 构建的 ChatGPT 镜像站一键部署工具，旨在解决用户访问官方 ChatGP···

TypeGPT 开源

把大模型装进操作系统，随处唤起 AI 助手

TypeGPT 是一个将大语言模型（LLM）集成到操作系统层面的开源项目，旨在让 AI 能力渗透到用户与计算···

LARS 开源

本地跑大模型，读你的文档，回答带引用

LARS 是一个本地运行的 LLM 应用，旨在让你在自己的设备上使用大语言模型处理个人文档，并生成带有···

lilypad 开源

像管代码一样管模型，一键追踪、标注、迭代

lilypad 是一个开源的模型版本管理、追踪与标注工具，旨在解决 AI 开发中模型迭代混乱、实验追踪困···

extractous 开源

一条命令提取所有文档内容，快如闪电

extractous 是一个用 Rust 编写的高性能非结构化数据提取库，旨在解决从 PDF、Word、HTML、图片等各···

soperator 开源

用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。

soperator 是一个 Kubernetes 原生算子，用于在 Kubernetes 集群中运行和管理 Slurm 工作负载。它解···

AsyncDiff 开源

把扩散模型去噪步骤并行化，生成图片速度翻倍

AsyncDiff 是一个针对扩散模型（Diffusion Models）的推理加速工具，核心思想是通过异步去噪（Asyn···

gollama 开源

命令行一键管理 Ollama 模型，告别繁琐操作

gollama 是一个用 Go 语言编写的 Ollama 模型管理工具，旨在通过命令行简化 Ollama 本地模型的下载···

dagster-mflix-demo 开源

用 Dagster 跑通电影数据 ELT，快速上手现代数据栈

dagster-mflix-demo 是一个基于 Dagster 构建的示例 ELT 项目，演示如何将数据加载工具与 Snowflak···

MegaParse 开源

解析文档零丢失，直接喂给大模型

MegaParse 是一个专为 LLM 数据摄取而优化的文件解析工具，旨在解决传统解析器在处理 PDF、DOCX、P···

llama_deploy 开源

把 LlamaIndex 智能体工作流一键部署成生产级微服务

llama_deploy 是一个用于将 agentic 工作流部署到生产环境的开源项目，由 LlamaIndex 团队开发。它···

LMCache 开源

复用KV缓存，让LLM推理快如闪电

LMCache 是一个专为大型语言模型（LLM）推理场景设计的 KV 缓存加速层，旨在解决长上下文和多轮对话···

desktop 开源

给 AI 一个安全的桌面环境，让它放心操作电脑

E2B Desktop 是一个为大型语言模型（LLM）设计的桌面沙箱环境，它提供了一个带有图形界面的隔离运行···

KsanaLLM 开源

C++ 高性能 LLM 推理引擎，把并发吞吐压榨到极致

KsanaLLM 是一个用 C++ 编写的大语言模型推理基础设施，目标是提供高吞吐、低延迟的 LLM 服务能力。···

SharpVector 开源

在 .NET 应用内直接实现语义搜索，无需外部数据库。

SharpVector 是一个轻量级的内存语义搜索文本向量数据库，专为 .NET 应用设计。它解决了在 .NET 生···

pgai 开源

在 PostgreSQL 里直接跑 AI，省掉向量数据库和复杂管道

pgai 是一套专为 PostgreSQL 设计的 AI 工具集，旨在简化 RAG（检索增强生成）、语义搜索及其他 AI···

gpustack 开源

一键管理 GPU 集群，轻松部署高性能 AI 模型服务

gpustack 是一个面向高性能 AI 模型服务的 GPU 集群管理器，专注于简化 vLLM、SGLang 等推理引擎的···