基础设施

suna 开源

一站式管理你的所有 AI 智能体，让运维更省心

suna 是一个开源的 AI 管理系统，旨在帮助团队和企业统一管理、部署和监控各类 AI 智能体。它解决了···

SageAttention 开源

渲染提速好几倍，出片快人一步

清华开源的量化注意力算子，相较 FlashAttention 可实现 2~5 倍加速，在语言、图像与视频模型上均保···

kitchenai 开源

让AI团队像做菜一样，轻松管理模型和提示词，快速上线应用。

kitchenai 是一个面向 AI 团队的开源 LLMOps 工具，旨在简化大语言模型应用的开发、部署和运维流程···

trench 开源

一条命令部署，快速搭建产品分析平台

Trench 是一个开源的轻量级分析基础设施，旨在帮助开发者快速构建产品分析、LLM RAG、可观测性平台···

digiRunner-Open-Source 开源

快速搭建微服务API网关，统一入口、安全可控。

digiRunner 是一个基于 Java 开发的轻量级 API 网关，专为微服务架构设计。它解决了微服务场景下 A···

ollama-intel-arc 开源

让 Intel Arc 显卡跑起 Ollama 和 Stable Diffusion，一键部署 AI 全栈。

这是一个基于 Docker 的部署方案，旨在让用户充分利用 Intel Arc 系列 GPU 运行 Ollama、Stable Di···

reader 开源

本地部署，给任意网页加个前缀，秒变LLM可读文本

reader 是 Jina AI Reader 的本地化改编版本，通过 Docker 实现一键部署，将任意网页 URL 转换为大···

VoAPI 开源

统一接入多家AI大模型，一个API搞定分发、计费与监控。

VoAPI 是一个基于 Go 语言构建的下一代 AI 大模型 API 聚合与分发系统，定位为高颜值、高性能、高扩···

fastrtc 开源

几行 Python 代码，让应用实时开口说话

fastrtc 是一个专注于实时通信的 Python 库，旨在简化 WebRTC 音频/视频流的接入，让开发者能快速构···

dify-google-cloud-terraform 开源

在 Google Cloud 上快速部署生产级 Dify，自动搞定高可用和弹性伸缩。

这是一个用于在 Google Cloud 上部署 Dify 的 Terraform 配置项目。它解决了 Dify 在生产环境中手动···

Lexoid 开源

把脏乱数据变成 AI 能用的干净上下文

Lexoid 是一个开源的通用适配器，旨在将杂乱无章的真实世界数据转化为干净、可供 AI 智能体直接使用···

aio2024-mlops 开源

跟着Notebook动手玩转MLOps全流程工具链

这是一个面向初学者的MLOps实践入门项目，基于Jupyter Notebook编写，旨在通过动手实验帮助用户快速···

infermux 开源

看清跨云路由路径，优化网络调度

infermux 是一个用 Go 编写的开源工具，专注于跨云服务提供商的网络路由推断。它解决了在多云或混合···

GPTFree 开源

免注册免费调用 GPT/Claude/Gemini，兼容 OpenAI 接口

GPTFree 是一个提供免费 OpenAI 兼容 API 的开源项目，旨在让开发者无需注册和付费即可调用 GPT、C···

ai-optimizer 开源

在 Oracle 数据库上快速调优 RAG 和 NL2SQL 实验

ai-optimizer 是一个面向 GenAI 和 RAG 场景的实验与优化工具包，基于 Oracle 数据库的 AI Vector ···

memobase 开源

给 AI 聊天机器人装上长期记忆，让对话更懂你

memobase 是一个为 AI 聊天机器人提供长期用户记忆的开源项目。它解决的是大语言模型在对话中缺乏持···

nobodywho 开源

让任何设备都能流畅跑大模型，边缘 AI 推理引擎

NobodyWho 是一个用 Rust 编写的本地 LLM 推理引擎，旨在让任何设备都能高效运行大语言模型。它解决···

VectorChord 开源

在 Postgres 里实现大规模向量搜索，更快更省磁盘。

VectorChord 是一个基于 Postgres 的向量检索扩展，是 pgvecto.rs 的继任者。它旨在解决 Postgres ···

tensorcircuit-ng 开源

用AI框架跑量子模拟，自动微分+GPU加速，上手快

TensorCircuit-NG 是新一代基于张量网络的量子软件框架，专为 AI 原生设计。它解决量子计算模拟中计···

ReMe 开源

给 AI 装上长期记忆，让对话不再失忆

ReMe 是一个面向 AI 智能体的记忆管理工具包，旨在解决智能体在长对话或复杂任务中“遗忘”关键信息···

lmnr 开源

像调试普通软件一样调试 AI 智能体，全链路追踪+评估。

Laminar 是一个专为 AI 智能体（Agent）设计的开源可观测性平台，来自 YC S24。它解决了 AI 应用在···

lupine 开源

让无GPU的电脑用上远程显卡，跑AI应用像本地一样

LUPINE 是一个 GPU over IP 桥接工具，允许将远程机器上的 GPU 通过 IP 网络挂载到仅配备 CPU 的本···

optillm 开源

给 LLM 推理加个外挂，自动优化提示词和采样策略，提升答案质量与效率。

optillm 是一个面向大语言模型（LLM）推理场景的优化代理服务。它位于客户端与模型服务之间，通过集···

ZETIC_Melange_apps 开源

在手机上用NPU跑AI，又快又省电

ZETIC_Melange_apps 是一个基于 Melange 框架的 NPU 驱动的端侧 AI 移动应用示例集合。它解决了在移···