基础设施

pasllm 开源 免费 仅开源

在 Pascal 里跑大模型，让 Delphi/Lazarus 也能做 AI 对话。

PasLLM 是一个用 Object Pascal 编写的 LLM 推理引擎，支持在 Delphi、Free Pascal 和 Lazarus 环境···

RuVector 开源 可打开

用 Rust 打造的实时自学习向量图数据库，让 AI 记忆更聪明。

RuVector 是一个用 Rust 构建的高性能实时向量数据库，专为 AI 应用设计，集成了图神经网络（GNN）···

octopus 开源 免费 仅开源

一个网关管所有大模型，密钥、路由、计费全搞定

octopus 是一个为个人用户打造的 LLM API 聚合网关，旨在解决多模型 API 分散管理、密钥混乱、调用···

kronk 开源 免费 仅开源

Go 项目一键接入本地大模型、语音和图像生成

Kronk 是一个用 Go 语言编写的高层推理框架，目标是把 llama.cpp、whisper.cpp 和 stable-diffusio···

memlayer 开源 免费 仅开源

三行代码给大模型装上持久记忆，让对话更懂你

memlayer 是一个为大型语言模型（LLM）提供即插即用记忆能力的 Python 库，旨在用三行代码为任何模···

new-api-docs-v1 开源 仅开源

看 New API 文档，快速上手集成，少走弯路。

new-api-docs-v1 是 New API 项目的官方文档站，采用 MDX 格式编写，旨在为开发者提供清晰、完整的···

vLLM-Hook 开源 免费 仅开源

给 vLLM 装上状态探针，编程控制模型内部，实现监控与干预。

vLLM-Hook 是一个针对 vLLM 推理引擎的插件，允许开发者编程访问和修改模型在推理过程中的内部状态···

LLMKube 开源 免费 可打开

用 kubectl 在混搭 GPU 集群上跑大模型推理

LLMKube 是一个 Kubernetes Operator，用于在异构 GPU 集群上自托管大模型推理。它解决的核心问题是···

datastoria 开源 可打开

AI 驱动 ClickHouse 诊断与查询优化，可视化一步到位

datastoria 是一个 AI 原生的 ClickHouse 控制台，专为集群诊断、查询生成、优化和数据可视化而设计···

claude-token-optimizer 开源 免费 仅开源

压缩提示词，立省 Claude API 费用

claude-token-optimizer 是一个面向 Claude API 调用场景的 token 优化工具，主要解决开发者在使用···

gigatoken 开源 免费 仅开源

用 Rust 把分词速度拉到 GB/s，告别数据预处理瓶颈

gigatoken 是一个用 Rust 编写的高性能语言模型分词器，专注于将分词速度提升到 GB/s 级别。它解决···

mcp-shark 开源 可打开

像抓包网络一样抓包 MCP 通信，快速定位 AI 集成问题。

mcp-shark 是一个面向 Model Context Protocol（MCP）通信的取证分析工具，类似于 Wireshark 对网络···

pyseekdb 开源 免费 仅开源

用 Python 轻松连接 OceanBase，高效实现向量检索

pyseekdb 是一个面向 OceanBase 数据库及其向量检索扩展 SeekDB 的统一 Python SDK，旨在简化开发者···

pdf_oxide 开源 免费 仅开源

用 Rust 极速处理 PDF，比行业快 5 倍，文本图像转换全搞定

pdf_oxide 是一个用 Rust 编写的高性能 PDF 处理库，提供 Python 和 Rust 双语言接口。它解决了现有···

MSLK 开源 免费 仅开源

为 GenAI 训练推理准备的 PyTorch 高性能 GPU 算子集

MSLK（Meta Superintelligence Labs Kernels）是面向生成式 AI 训练与推理场景的 PyTorch GPU 算子···

vllm-continuum 开源 免费 仅开源

把论文里的推理调度思路跑起来

vllm-continuum 是配套 Continuum 论文的预览代码，面向基于 vLLM 的大模型推理服务场景，探索如何···

comfyui-model-linker 开源 免费 仅开源

一键补全 ComfyUI 缺失模型，自动匹配下载，告别报错。

comfyui-model-linker 是一个 ComfyUI 扩展节点，用于自动修复工作流中缺失的模型引用。当用户加载···

ccs 开源 免费 仅开源

一个命令行搞定所有 AI 账号和模型切换

ccs 是一个面向 AI 开发者的命令行工具，用于在 Claude、Gemini、Copilot、OpenRouter 等多家 AI 服···

AI-Worker-Proxy 开源 免费 仅开源

一键部署，统一接入多模型，自动故障转移

AI-Worker-Proxy 是一个基于 Cloudflare Workers 的 OpenAI 兼容 AI 代理，旨在统一接入 Anthropic···

vllm-playground 开源 免费 可打开

浏览器里管 vLLM，调参对话不用敲命令

vllm-playground 是一个面向 vLLM 推理服务器的现代化 Web 管理界面。vLLM 本身是高性能 LLM 推理引···

corpusos 开源 可打开

一套协议打通所有 AI 框架，告别碎片化集成

CorpusOS 是一个开源协议套件，旨在统一 LLM、向量、图和嵌入基础设施的接口标准。它解决了 AI 应用···

EverOS 开源 免费 仅开源

给每个 AI 代理装一个随身记忆库，跨应用不忘事

EverOS 是一个面向 AI 代理的便携式记忆层，主打本地优先、Markdown 原生、用户所有且跨应用自进化···

ccNexus 开源 免费 仅开源

统一管理 AI API，自动轮换端点，用量一目了然

ccNexus 是一个面向 Claude Code 和 Codex CLI 的智能 API 网关，主要解决开发者在使用 AI 编程工具···

temps 开源 免费 仅开源

一个 Rust 二进制，搞定部署、监控、分析和 AI 代理集成

temps 是一个 AI 原生的开源开发者平台，旨在替代 Vercel、Sentry、PostHog、Pingdom、Resend 和 E···