基础设施

LightLLM 开源 免费 仅开源

轻量部署 LLM，推理快人一步

LightLLM 是一个基于 Python 的轻量级大语言模型推理与服务框架，主打轻量设计、易于扩展和高性能。···

flashinfer 开源 免费+付费 可打开

免写 CUDA，给 LLM 推理服务直接加速的算子库

FlashInfer 是一个面向大语言模型推理服务的高性能 GPU 内核库，用 CUDA 和 PyTorch 实现，专注解决···

arcadia 开源 免费 仅开源

一站式搭建安全可靠的AI应用，从原型到上线轻松搞定

Arcadia 是一个用 Go 编写的全栈 LLMOps 平台，旨在提供多样化、简单且安全的 AI 应用开发体验。它···

luminal 开源 不稳定

Rust 写的轻量推理引擎，模型跑得更快更省

Luminal 是一个用 Rust 编写的轻量级深度学习推理框架，目标是让模型推理跑得更快、更省资源。它解···

coai 开源 免费+付费 不稳定

一个后台管所有 AI 模型，自动计费与路由，省心省钱

coai 是一个面向企业级的多租户 AI 一站式解决方案，基于 TypeScript 和 Golang 构建，定位为下一代···

truss-examples 开源 免费 仅开源

照着抄，把模型快速变成可调用的 HTTP 服务

Truss 是一个将机器学习模型打包并部署为 HTTP 服务的开源框架，而 truss-examples 是其官方示例仓···

Claude-API 开源 仅开源

用 Python 快速接入 Claude 对话能力

Claude-API 是一个非官方的 Python 库，用于访问和交互 Anthropic 的 Claude AI 模型。它解决了官方···

dcs-core 开源 免费 仅开源

配置数据规则，自动监控数据质量，异常及时告警。

dcs-core 是一个开源的 Python 数据质量监控框架，旨在帮助数据团队持续跟踪和验证数据的准确性、完···

OnnxStream 开源 免费 仅开源

让树莓派跑SDXL，低内存设备也能玩转大模型

OnnxStream 是一个轻量级的 ONNX 推理库，用 C++ 编写，专为资源受限环境设计。它解决了在低内存、···

fastembed 开源 免费 仅开源

轻量快速生成文本向量，让嵌入计算快人一步

fastembed 是一个轻量级、高性能的 Python 库，专注于生成高质量的文本嵌入向量。它基于 ONNX Runt···

kernel-memory 开源 免费 仅开源

给 AI 装上长期记忆，让应用能基于私有知识精准问答

kernel-memory 是微软开源的认知记忆服务，专为 AI 应用和智能代理设计。它解决的是大语言模型缺乏···

openmodelz 开源 免费 仅开源

给 LLM 推理装上自动挡，流量波动也不怕，按需伸缩省成本。

openmodelz 是一个面向 LLM 推理场景的自动伸缩基础设施，基于 Kubernetes 构建，支持 vLLM、SGLan···

lantern 开源 免费 仅开源

在 PostgreSQL 里直接跑向量搜索，不用额外部署向量数据库。

lantern 是一个基于 PostgreSQL 的向量数据库扩展，专为构建 AI 应用而设计。它通过扩展 PostgreSQ···

ai00_server 开源 免费 可打开

一键部署 RWKV 模型，集成聊天、嵌入、RAG 和智能代理。

ai00_server 是一个基于 Rust 编写的 RWKV 模型全功能运行时，旨在提供开箱即用的一体化服务。它解···

vectordb 开源 可打开

自建高性能向量库，让 AI 应用秒级检索私有知识。

Epsilla 是一个高性能的向量数据库管理系统，专为 AI 应用设计。它解决了大语言模型应用中知识库检···

LLMLingua 开源 免费 可打开

把长提示词压到1/20，推理更快更省钱

LLMLingua 是微软开源的提示词压缩工具，用于解决大模型推理时上下文过长导致的速度慢、成本高问题···

NeuroAPI 开源 可打开

俄罗斯开发者一键接入全球主流 AI 模型，绕过支付和地域限制。

NeuroAPI 是一个面向俄罗斯开发者的 AI API 聚合服务，为 Codex CLI 和 Claude Code 等 AI 编程工具···

mockai 开源 免费 仅开源

本地模拟 OpenAI 接口，开发测试不花钱不等待

MockAI 是一个针对 OpenAI API 的模拟服务器，专为开发和测试场景设计。它能够模拟 Chat Completio···

worker-vllm 开源 免费 仅开源

在 Runpod 上一键部署 vLLM 推理端点，按需用 GPU

worker-vllm 是 Runpod 官方提供的 Serverless Worker 模板，用于在 Runpod 平台上部署基于 vLLM 的···

langfuse-js 开源 仅开源

给 LLM 应用装上监控，追踪每次调用与成本

Langfuse JS/TS SDK 是 Langfuse 可观测性平台的语言客户端，用于对 LLM 应用进行埋点，采集详细的···

build-and-deploy-real-time-feature-p··· 开源 免费 仅开源

用Python快速搭建实时特征管道，让模型用上最新数据。

这是一个用Python构建和部署实时特征管道的开源项目，旨在解决机器学习中特征工程从离线批处理向实···

ollama 开源 免费 可打开

一条命令本地跑起大模型，免费、私密、不卡顿

最流行的本地大模型运行工具，用 Go 编写，一条命令即可在本地跑起 Kimi、DeepSeek、Qwen、Gemma、···

metal-flash-attention 开源 免费 仅开源

在 Apple 芯片上让注意力计算飞起来，加速 Stable Diffusion 推理。

metal-flash-attention 是一个基于 Apple Metal 高性能计算框架的 FlashAttention 移植实现，专为在···

mlops-python-package 开源 免费 仅开源

一键生成标准 MLOps 项目骨架，快速落地数据管道

mlops-python-package 是一个用于快速启动和标准化 MLOps 项目及数据管道的 Python 包模板。它解决···