基础设施

ollama-to-lmstudio-symlinks 开源 免费 仅开源

一份模型两处用，省下几十 GB 磁盘

这是一个用 Go 编写的小工具，解决本地大模型用户同时使用 Ollama 和 LM Studio 时的磁盘浪费问题。···

persistent-ai-memory 开源 免费 仅开源

给AI装上本地长期记忆，让对话不再失忆

这是一个为AI、LLM或VS Code中的Copilot提供持久化本地记忆的开源项目。它解决的是AI助手在会话间缺···

emmy 开源 免费 仅开源

选配方或自调优，让 LLM 推理在 GPU 上跑得更快

emmy 是一个面向 LLM 推理的 GPU 编译器优化工具，旨在解决大模型推理性能调优复杂、门槛高的问题。···

Deepthink 开源 免费 仅开源

让大模型自动反复试错，批量搜出更优方案

Deepthink 是一个用 TypeScript 编写的开源基础设施项目，核心思路是把大语言模型当作搜索策略的驱···

InsForge 开源 可打开

给编码智能体装上全套后端，一键从代码到上线。

InsForge 是一个开源的、面向智能体编程的全栈后端平台，旨在为 AI 编码智能体提供一站式基础设施。···

router 开源 免费 仅开源

给 vLLM 集群做请求分发，Rust 写的轻量路由

router 是一个用 Rust 编写的高性能轻量级路由组件，专为 vLLM 大规模部署场景设计。在大模型推理服···

station 开源 免费 仅开源

自托管智能体运行时，让 AI 部署完全可控

Station 是一个开源的智能体运行时，旨在让团队在自己的基础设施上部署和管理 AI 智能体，同时保持···

llm-optimizer 开源 免费+付费 不稳定

统一测多框架推理性能，快速找到更优配置

llm-optimizer 是一个用 Python 编写的 LLM 推理基准测试与优化工具，目标是让开发者用统一方式在不···

context-keeper 开源 免费 仅开源

给大模型装上持久记忆，告别上下文丢失

context-keeper 是一个基于 Go 语言构建的 AI 记忆管理与智能上下文感知平台，旨在解决大语言模型在···

redb-open 开源 免费 仅开源

统一接入多数据库，实时迁移复制，为AI和大规模数据而生。

redb-open 是一个用 Go 编写的分布式数据网格（Data Mesh）基础设施项目，旨在解决跨多种异构数据库···

Memori 开源 仅开源

给 AI 装上持久记忆，让智能体不再失忆

Memori 是一个面向生产环境的智能体原生记忆基础设施，定位为与模型无关的中间层，将智能体的执行过···

recipes 开源 免费 可打开

照抄配方，几分钟跑通 vLLM 推理服务

recipes 是 vLLM 官方维护的示例配方仓库，用 JavaScript 组织一系列可直接运行的配置与脚本，帮助···

comfyui-triton-and-sageattention-ins··· 开源 免费 仅开源

一键搞定 ComfyUI 的 Triton 和 SageAttention 加速安装，Windows 也能轻松用上 RTX 5090 性能。

这是一个为 ComfyUI 用户设计的跨平台安装工具，专门解决 Triton 和 SageAttention 在 Windows 环境···

runanywhere-sdks 开源 免费 仅开源

本地跑AI，生产级工具包，低延迟高隐私

runanywhere-sdks 是一个面向生产环境的 C++ 工具包，旨在让 AI 模型在本地设备上高效运行。它解决···

traceroot 开源 免费+付费 可打开

给 AI Agent 装上黑匣子，看清每一步再持续调优

TraceRoot 是一个面向 AI Agent 的开源可观测性与自我改进层，由 YC S25 团队打造。它解决的核心问···

agent-prism 开源 免费 可打开

把 AI Agent 执行轨迹变成可嵌入的 React 可视化组件

agent-prism 是一套基于 React 的组件库，专门用来可视化 AI Agent 的执行轨迹（trace）。随着 LLM···

litellm-pgvector 开源 免费 仅开源

把 LiteLLM 日志变成可搜索的向量库，快速挖掘调用模式

litellm-pgvector 是一个将 LiteLLM 的请求日志与向量数据库 pgvector 集成的开源项目。它解决了 L···

llamactl 开源 待核验

一个面板管住 llama.cpp、MLX、vLLM 三种本地推理后端

llamactl 是一个用 Go 编写的本地大模型统一管理与路由工具，面向同时使用 llama.cpp、MLX 和 vLLM···

archestra 开源 可打开

给企业 AI 套上护栏，统一管理模型与工具，安全落地

Archestra 是一个面向企业的 AI 平台，核心解决企业在生产环境中安全、可控地使用大模型的问题。它···

litellm-rs 开源 免费 仅开源

用 Rust 实现的高性能 AI 网关，一行代码切换 100+ 大模型

litellm-rs 是一个用 Rust 编写的高性能 AI 网关，旨在统一调用 100 多种 LLM API。它兼容 OpenAI ···

nexus 开源 免费 仅开源

用 Rust 给 AI 上把锁，治理安全两不误

nexus 是一个用 Rust 编写的开源 AI 治理与安全平台，旨在帮助企业管理和保护其 AI 系统。它解决的···

llamafarm 开源 可打开

几分钟部署任意 AI 模型到本地或云端

llamafarm 是一个面向 AI 应用的一站式部署工具，旨在让用户能够在几分钟内将任意 AI 模型、智能体···

LLM-Hub 开源 可打开

本地跑大模型，图像语音问答全搞定

LLM-Hub 是一个本地 AI 助手，专注于图像生成领域，但实际覆盖多模态能力。它基于 C++ 构建，集成多···

oxidizePdf 开源 免费 仅开源

纯 Rust 解析 PDF，结构感知分块，让 RAG 检索更准。

oxidizePdf 是一个用纯 Rust 编写的 PDF 处理库，专为 AI 和 RAG 场景设计。它解决了 PDF 在检索增···