mlx-embeddings

在 Mac 上本地跑视觉/文本嵌入模型,轻松搞定 RAG 和语义搜索

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 对话助手 🍴 复刻 63 🐛 待处理 35 👀 关注 3
GitHub ↗
GitHub 星标 ★ 452
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,本地部署,完全免费。

项目预览

mlx-embeddings 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类对话助手
开发团队Blaizzy
定价模式🏷️完全免费
价格说明开源项目,本地部署,完全免费。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议NOASSERTION
主要语言Python
技术栈/模型chatbot,embeddings,llms,rag,retrieval-augmented-generation
GitHub 星标★ 452
上线时间2024-07-16 00:00:00
代码更新2026-05-13
仓库体积84.3 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数3

项目介绍

MLX-Embeddings 是一个专为 Mac 用户设计的本地嵌入模型运行工具,基于 Apple 的 MLX 框架,支持在本地运行视觉和语言嵌入模型。它解决了在 Mac 上高效运行嵌入模型的需求,无需依赖云服务或外部 API,即可完成文本和图像的向量化处理。核心能力包括:支持多种主流嵌入模型(如 BERT、CLIP 等),提供统一的 API 接口,方便集成到 RAG(检索增强生成)或语义搜索系统中。项目采用 Python 编写,技术栈聚焦于嵌入、检索和 LLM 应用,适合开发者快速构建本地化的语义检索、推荐系统或知识库问答应用。其优势在于利用 MLX 框架优化了 Apple Silicon 芯片的性能,实现低延迟、高吞吐的嵌入计算,同时保持数据隐私和离线可用性。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 452

使用教程

难度:进阶 约 20 分钟 部署方式:本地安装 4 步

环境要求

  • Apple Silicon Mac
  • Python 3.9+

安装与启动步骤

  1. 1确认是 Apple Silicon

    它基于 MLX,只有苹果芯片的机器能跑。

    uname -m
  2. 2装包

    一条命令装完,依赖会带上 MLX 本身。

    pip install mlx-embeddings
  3. 3转换或下载模型

    支持把 HuggingFace 上的嵌入模型转成 MLX 格式。

    python -m mlx_embeddings.convert --model <模型名>
  4. 4算一组向量看维度

    先用两个句子算相似度,确认输出维度与归一化方式。

如何确认成功

两段语义相近的中文算出的余弦相似度明显高于无关句子,且向量维度与所选模型卡一致

注意事项

  • 只在 Apple Silicon 上有意义,Intel Mac 与其它平台装了也用不了。
  • 它覆盖多种嵌入模型架构,但并非全部 HF 模型都能转。
  • 嵌入模型对中文的支持差异很大,先拿自己的语料试再定。
  • 批量编码时注意内存,MLX 的缓存不会自动回收。

核心亮点

  • 基于 MLX 框架,针对 Apple Silicon 深度优化,推理速度快
  • 同时支持视觉和语言嵌入模型,覆盖多模态场景
  • 本地运行,数据不出设备,隐私安全且无需网络

不足之处

  • 仅支持 macOS 平台,不适用于 Windows/Linux 用户
  • 项目处于早期阶段,文档和社区生态待观察

适用场景

  • 在 Mac 上开发本地 RAG 应用,快速生成文档嵌入
  • 构建离线语义搜索或推荐系统,保护数据隐私
  • 多模态场景下,对图片和文本进行统一向量化

替代项目

sentence-transformers、text-embeddings-inference、fastembed

上一篇:rag-chatbot

下一篇:ThinkRAG

同类项目推荐

search-gpt 开源

让 ChatGPT 联网搜索,回答实时问题

Connecting ChatGPT with the Internet

★ 169 2026-08-09
VARAG 开源

让 RAG 看懂图片,多模态问答更准确

Vision-Augmented Retrieval and Generation (VARAG) - Vision first RAG Engine

★ 501 2026-08-09
twosetai 开源

边看代码边学搜索知识,动手实践入门

All the code and materials

★ 111 2026-08-09
PapersChat 开源

和你的论文对话,还能顺手查遍 ArXiv 和 PubMed

An agentic AI application that allows you to chat with your papers and gather also i···

★ 157 2026-08-09
Hyper-RAG 开源

用超图建模文档关系,让 RAG 检索更准,减少幻觉。

"Hyper-RAG: Combating LLM Hallucinations using Hypergraph-Driven Retrieval-Augmented···

★ 331 2026-08-09
blog 开源

用博客记录技术成长,一键部署到GitHub Pages

:memo: 记录个人博客,见证成长之路 https://wangtunan.github.io/blog/

★ 390 2026-08-09
omnibox 开源

碎片信息一键收拢,查过收藏过的不再丢

Anywhere, anything to memory, memory to anything.

★ 1547 2026-08-09
Awesome-LLM-RAG 开源

一份清单,带你快速摸清 RAG 全貌

Awesome-LLM-RAG: a curated list of advanced retrieval augmented generation (RAG) in ···

★ 1373 2026-08-09