基础设施

fastembed-go 开源

在 Go 里直接生成文本向量，告别 Python 依赖

fastembed-go 是 Qdrant 官方 fastembed 的 Go 语言实现，旨在为 Go 开发者提供轻量、高效的文本嵌···

Awesome-MLOPS 开源

一份清单，从零入门到精通 MLOps 全流程。

Awesome-MLOPS 是一个精选资源列表，旨在帮助初学者从零开始系统掌握 MLOps（机器学习运维）。它聚···

fastembed-rs 开源

本地生成向量嵌入，让 Rust 应用秒变语义搜索高手

fastembed-rs 是一个用 Rust 实现的向量嵌入与重排序库，旨在本地生成高质量的文本嵌入向量，并支持···

mistral-inference 开源

官方推理库，快速跑通 Mistral 模型，省心部署

mistral-inference 是 Mistral AI 官方发布的推理库，用于加载和运行 Mistral 系列大语言模型。它解···

openllmetry-js 开源

给 LLM 应用装上监控，自动追踪调用、成本与性能

OpenLLMetry-js 是 OpenLLMetry 的 TypeScript 姊妹项目，基于 OpenTelemetry 为 LLM 应用提供开源···

biniou 开源

一个界面搞定 30+ 生成式 AI，本地部署即开即用

biniou 是一个自托管的 WebUI，聚合了 30 多种生成式 AI 模型，覆盖图像、音频、视频等模态。它基于···

llm-on-openshift 开源

在 OpenShift 上快速跑通 LLM 部署与推理

llm-on-openshift 是 Red Hat 官方维护的开源资源集合，面向在 OpenShift 上运行大语言模型（LLM）···

qwen.cpp 开源

用 C++ 在本地快速跑通 Qwen 模型，无需 Python 环境。

qwen.cpp 是一个基于 C++ 实现的 Qwen 大语言模型推理库，旨在将通义千问模型高效地运行在本地设备···

Fooocus-API 开源

把 Fooocus 变成 API，一行代码接入图像生成

Fooocus-API 是一个为 Fooocus 图像生成工具打造的 FastAPI 接口服务。Fooocus 本身是一个基于 SDX···

fastembed-js 开源

在 Node.js 里直接生成文本向量，告别 Python 服务

fastembed-js 是一个面向 Node.js 环境的向量嵌入生成库，基于 TypeScript 编写，旨在为 JavaScrip···

free-one-api 开源

一个 API 搞定所有免费逆向 AI，OpenAI 格式无缝切换

free-one-api 是一个基于 Python 的 LLM 逆向工程接口管理工具，它通过标准 OpenAI API 格式，统一···

NeumAI 开源

一键搭建大规模向量数据管道，让 RAG 应用数据实时同步

NeumAI 是一个专注于大规模向量嵌入创建与同步的框架，旨在解决 RAG（检索增强生成）应用中数据管道···

gpu_poor 开源

选显卡前先算一算：模型显存和速度一键估算

gpu_poor 是一个用于估算任意大语言模型（LLM）在本地部署时所需 GPU 显存和推理速度（token/s）的···

MLOps 开源

让机器学习模型从实验室平滑走向生产，告别手工部署烦恼。

MLOps 是一个面向机器学习生产环境的开源项目，旨在解决模型从实验到部署之间的工程化鸿沟。它提供···

llamafile 开源

一个文件搞定大模型，下载即用，跨平台运行

llamafile 是一个将大语言模型（LLM）及其运行环境打包成单个可执行文件的开源工具，旨在解决 AI 模···

one-hub 开源

统一管理多模型API密钥，轻松分发，自带统计看板

one-hub 是一个基于 Go 语言开发的 OpenAI 接口管理与分发系统，源自 songquanpeng/one-api 并进行···

wingman 开源

统一管理所有 AI 模型调用，让推理服务更稳更可控

wingman 是一个面向大规模 AI 推理场景的 Inference Hub，用 Go 语言实现。它旨在解决 AI 模型部署···

ai-dial-core 开源

一套 API 统一接入多家大模型，业务代码不用改

AI DIAL Core 是 AI DIAL 平台的核心组件，用 Java 编写，提供统一的 API 层来接入多种聊天补全模型···

openllmetry 开源

用 OpenTelemetry 一键监控你的大模型应用，看清每次调用和成本。

openllmetry 是一个面向 GenAI 和 LLM 应用的开源可观测性平台，基于 OpenTelemetry 标准构建。它解···

ShannonBase 开源

像用 MySQL 一样，为 AI 应用构建统一数据底座

ShannonBase 是一个面向 AI 时代的下一代数据库基础设施，定位为“AI 时代的 MySQL”。它旨在解决传···

AI-in-a-Box 开源

微软官方加速器，快速搭建 Azure AI 应用

AI-in-a-Box 是微软推出的开源项目，旨在为技术社区提供一套精选的 AI/ML 解决方案加速器。它主要解···

portkey-python-sdk 开源

一键接入多模型，让 AI 应用稳定又安全

Portkey Python SDK 是一个用于构建可靠、安全且生产级 AI 应用的开发工具包。它解决了开发者在集成···

full-stack-on-prem-cv-mlops 开源

一条命令，从Notebook到百万级CV服务

这是一个面向计算机视觉的全栈本地化MLOps系统，旨在通过一条配置和一个命令，将Jupyter Notebook中···

lilypad 开源

用区块链调度全球闲置 GPU，跑 AI 任务更便宜透明

lilypad 是一个基于区块链的去中心化 GPU 算力网络，旨在让用户轻松运行 AI 工作负载。它解决了传统···