基础设施

aisbom 开源 免费 仅开源

给 AI 模型和数据集做“成分表”，让供应链透明可审计

aisbom 是一个面向人工智能领域的软件物料清单（SBOM）工具，旨在为 AI 供应链提供透明度和可追溯性···

TurboDiffusion 开源 免费 仅开源

出片快上百倍，画质依然在线

面向视频扩散模型的极致加速方案，通过蒸馏与优化实现 100~200 倍推理加速，在保持生成质量的同时大···

vllm-mlx 开源 免费 仅开源

在 Mac 上本地跑大模型，速度超快，兼容 OpenAI 和 Claude。

vllm-mlx 是一个专为 Apple Silicon 芯片设计的开源推理服务器，兼容 OpenAI 和 Anthropic API 协议···

vectordbz 开源 免费 仅开源

可视化连接与管理向量数据库，调试搜索不再靠命令行

vectordbz 是一款现代化的桌面应用，用于探索、管理和分析向量数据库。它解决了开发者在调试和运维···

zvec 开源 免费 仅开源

把向量检索嵌进进程，毫秒级响应，部署零负担

zvec 是一个轻量级、极速的进程内向量数据库，专为需要高性能向量检索的 AI 应用设计。它解决的是传···

GoModel 开源 免费 仅开源

用 Go 统一管理 AI 模型，智能路由、成本可控、生产可用。

GoModel 是一个用 Go 编写的 AI 网关/控制平面/代理，旨在统一管理多家 AI 提供商的 API 访问。它解···

exstruct 开源 免费 仅开源

把 Excel 变成 AI 能读懂的 JSON，让智能体自动读写表格。

exstruct 是一个将 Excel 文件转换为结构化 JSON 的开源工具，专为 LLM/RAG 管道和 AI 智能体设计。···

memory-opensource 开源 免费 仅开源

让AI记住关键信息，毫秒级精准召回

这是一个为AI智能体设计的预测性记忆层基础设施。它通过整合MongoDB、Qdrant和Neo4j三种数据库，分···

satoriDB 开源 免费 仅开源

把向量搜索嵌进你的应用，本地跑，快又省。

satoriDB 是一个用 Rust 编写的高性能嵌入式向量数据库，专为需要本地化、低延迟向量检索的场景而设···

llmops 开源 免费 仅开源

用 TypeScript 快速搭建可插拔的 LLM 应用运维工具链

llmops 是一个面向 TypeScript 应用的可插拔 LLMOps 工具包，旨在为开发者提供一套模块化、易集成的···

tokscale 开源 可打开

终端里统一看 AI 编程 token 消耗，参与全球排行。

tokscale 是一个开源的终端工具，用于追踪 AI 编程代理的 token 使用情况。它解决了开发者在多个 A···

MagiCompiler 开源 免费 仅开源

插上就快，视频生成模型推理训练免费提速

MagiCompiler 是一个面向视频生成模型的即插即用编译器，旨在为推理和训练提供免费的性能优化。它解···

runtime 开源 免费 仅开源

把 AI 生成的代码关进 WASM 沙箱安全跑

runtime 是一个用 Rust 编写的安全运行时，专门用于沙箱化 AI Agent 任务。它把 AI 代理生成或执行···

amd-r9700-vllm-toolboxes 开源 免费 仅开源

在 AMD R9700 上一键搭起 vLLM 推理服务

amd-r9700-vllm-toolboxes 是一个面向 AMD R9700 显卡的 vLLM 部署工具箱，主要解决在 AMD 平台上运···

darwin 开源 免费 仅开源

一站式管理 ML 模型，从实验到上线更省心

darwin 是 Dream11 公司内部使用的机器学习平台，旨在为数据科学家和工程师提供端到端的模型开发、···

zon-TS 开源 免费 仅开源

用 ZON 格式替代 JSON，提示词 token 成本直降 35-70%

zon-TS 是一个 TypeScript 库，提供 ZON（一种紧凑的文本格式）的编解码器，用于替代 JSON 作为 LL···

warden 开源 可打开

给 AI 代理装一道企业级安全闸门，访问可控可审计

Warden 是一个用 Go 编写的安全网关，旨在连接 AI 代理与企业系统。它解决了 AI 代理在访问企业内部···

spark-vllm-docker 开源 免费 仅开源

双 DGX Spark 一键 Docker 跑 vLLM 推理

spark-vllm-docker 是一个面向 NVIDIA DGX Spark 双机集群的 Docker 化部署方案，核心目标是在两台···

Grov 开源 仅开源

把 AI 会话记忆变成团队共享资产，自动注入省 token 提效率

Grov 是一个面向 AI 开发团队的记忆同步基础设施。它自动捕获开发者在使用 AI 工具（如 Cursor、Co···

vllm-plugin-FL 开源 免费 仅开源

让 vLLM 一套代码跑多种国产芯片

vllm-plugin-FL 是一个基于 FlagOS 统一多芯片后端的 vLLM 插件，目标是在 vLLM 推理框架上打通多种···

metaai-api 开源 免费 仅开源

免 Key 调用 Meta AI，快速集成聊天、生图、生视频

metaai-api 是一个基于 FastAPI 的逆向工程封装项目，旨在为 Meta AI（原 Llama 系列）提供非官方的···

prompt-cache 开源 免费 仅开源

给 LLM 加个缓存，成本直降 80%，响应快到飞起

prompt-cache 是一个用 Go 编写的 LLM 代理，通过智能语义缓存将 LLM 调用成本降低最多 80%，并实现···

env-doctor 开源 免费 仅开源

一键诊断修复 CUDA/GPU 环境，本地、Docker、CI 全搞定

env-doctor 是一个用于诊断和修复 CUDA/GPU 环境兼容性问题的命令行工具，同时提供 MCP（Model Con···

smg 开源 可打开

一套 API 接所有推理引擎，还能按缓存智能路由

smg 是一个用 Rust 编写的引擎无关 LLM 网关，面向需要在多种推理后端之间统一接入与调度的团队。它···