fastembed

轻量快速生成文本向量,让嵌入计算快人一步

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 搜索知识 🍴 复刻 299 🐛 待处理 113 👀 关注 22
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 3287
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源Python库,Apache-2.0许可证,完全免费,可自行部署使用。

项目预览

fastembed 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类搜索知识
开发团队qdrant
定价模式🏷️完全免费
价格说明开源Python库,Apache-2.0许可证,完全免费,可自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型embeddings,openai,rag,retrieval,retrieval-augmented-generation,vector-search
GitHub 星标★ 3287
上线时间2023-07-14 00:00:00
代码更新2026-11-04
仓库体积4.7 MB
本站数据更新2026-11-09
维护状态活跃
收录时间2026-08-09
浏览次数3

项目介绍

fastembed 是一个轻量级、高性能的 Python 库,专注于生成高质量的文本嵌入向量。它基于 ONNX Runtime 和 Transformers.js,将 SOTA 模型(如 BGE、E5 等)优化为高效的 ONNX 格式,提供简洁的 API 接口,支持批量处理、异步调用和多种模型选择。它解决了传统嵌入库(如 sentence-transformers)在推理速度慢、依赖重、部署复杂等问题,特别适合需要快速生成嵌入用于检索、聚类、分类等下游任务的场景。核心能力包括:极快的推理速度(CPU 上比同类库快数倍)、极小的内存占用、支持多种主流嵌入模型、提供向量索引和查询功能(配合 Qdrant 等向量数据库)、以及简单的安装和使用流程。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 3287

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:入门 约 10 分钟 部署方式:库/依赖 4 步

环境要求

  • 已安装 Python 环境(README 未指定具体版本,建议使用 pip 可用的 Python 3 环境)
  • 可访问外网:首次使用需下载 ONNX 格式的模型文件
  • 无需 GPU,FastEmbed 基于 ONNX Runtime,在 CPU 上即可运行
  • README 提到可安装带 GPU 支持的版本,但节选中未给出具体命令

安装与启动步骤

  1. 1安装 fastembed

    README 推荐使用 pip 安装。不加额外参数即可安装默认(CPU)版本。

    pip install fastembed
  2. 2验证库可导入

    导入默认文本嵌入类 TextEmbedding,确认安装成功且无导入报错。

    python -c "from fastembed import TextEmbedding"
  3. 3安装 Qdrant 集成版

    若要把 FastEmbed 与 Qdrant 向量库配合使用,安装带 fastembed 扩展的客户端。

    pip install qdrant-client[fastembed]
  4. 4zsh 用户加引号

    在 zsh 下中括号会被解析,命令需用引号包裹,否则可能安装失败。

    pip install 'qdrant-client[fastembed]'

如何确认成功

执行 python -c "from fastembed import TextEmbedding" 无报错,即表示库已正确安装可用。

常见问题

Q:需要 GPU 或 PyTorch 吗?

A:不需要。FastEmbed 依赖 ONNX Runtime,不下载体量巨大的 PyTorch,也不需要 GPU,适合 AWS Lambda 等 serverless 环境。

Q:为什么安装后第一次运行会卡住?

A:首次使用会下载所选模型的 ONNX 权重文件,需要联网并有耐心等待;后续调用会复用本地缓存。

Q:默认的文本嵌入模型是什么?

A:默认 TextEmbedding 使用 Flag Embedding(BGE)模型,支持对输入文本使用 query 和 passage 前缀以适配检索场景。

Q:zsh 下安装 qdrant-client 报错怎么办?

A:中括号被 shell 解析导致,把包名整体加引号:pip install 'qdrant-client[fastembed]'。

Q:想装 GPU 版本怎么装?

A:README 说明支持带与不带 GPU 两种安装方式,但节选内容被截断,未给出确切命令,请查阅官方文档 https://qdrant.github.io/fastembed 确认。

注意事项

  • 本项目是 Python 库,不是独立服务,安装后无需启动进程,直接在代码中导入使用。
  • README 中的 Quickstart 与 GPU 安装部分在节选里被截断,具体 API 用法请以官网文档为准。
  • FastEmbed 主打轻量、快速、准确,官方称其效果好于 OpenAI Ada-002,并支持多种多语言模型。
  • 若需向量检索/索引能力,可结合 Qdrant 使用,README 提供了 Retrieval with FastEmbed 与 Usage With Qdrant 示例链接。

核心亮点

  • 基于 ONNX Runtime,CPU 推理速度比 sentence-transformers 快 2-10 倍,内存占用低
  • API 设计简洁,几行代码即可生成嵌入,支持批量处理和异步模式
  • 内置多种 SOTA 模型(如 BGE、E5),并持续更新,且模型文件自动下载缓存

不足之处

  • GPU 支持有限,主要针对 CPU 优化,大规模 GPU 训练场景不适用
  • 自定义模型转换流程较为繁琐,需手动转换为 ONNX 格式
  • 文档/社区待观察

适用场景

  • 构建 RAG 应用,快速生成文档块向量用于检索
  • 文本相似度计算、语义搜索、推荐系统
  • 在资源受限的环境(如边缘设备、低配服务器)中部署嵌入服务

替代项目

sentence-transformers、text-embeddings-inference、Instructor Embedding

上一篇:pipeshub-ai

下一篇:examples

同类项目推荐

openclaw-dashboard 开源

一条命令起面板,看清每个 AI 智能体花了多少钱

A beautiful, zero-dependency command center for OpenClaw AI agents

★ 460 2026-10-01
TransformerEngine 开源

让 Transformer 在 NVIDIA GPU 上跑得更快更省显存

A library for accelerating Transformer models on NVIDIA GPUs, including using 8-bit ···

★ 3599 2026-10-31
CPA-Manager-Plus 开源

自托管AI网关监控面板,管好每次API调用和成本

A self-hosted CPA / CLIProxyAPI management panel and AI gateway observability dashbo···

★ 4043 2026-08-09
opentraces 开源

给 AI Agent 装上黑匣子,完整记录每一步操作,调试审计不再抓瞎。

A local-first evidence layer for agent work, capturing what the agent sees, does, an···

★ 103 2026-08-09
kiji-proxy 开源

给 OpenAI 请求加层隐私滤镜,敏感信息不外泄。

Privacy proxy for your OpenAI requests

★ 451 2026-08-09
llama3.java 开源

纯 Java 跑 Llama 3,不装 Python 也能本地推理

Llama 3+ inference in pure Java

★ 816 2026-08-09
HuggingFaceModelDownloader 开源

不装 Python,一条命令拉取 HuggingFace 模型和数据集

Simple go utility to download HuggingFace Models and Datasets

★ 1211 2026-10-04
AgentENV 开源

一行命令拉起上千个 Agent 沙箱环境

AgentENV (AENV) is a distributed platform for running agent environments at scale.

★ 3733 2026-10-12
nndeploy 开源

一套代码搞定多端AI推理,省心又高效

一款简单易用和高性能的AI部署框架 | An Easy-to-Use and High-Performance AI Deployment···

★ 1897 2026-08-09