
mlx-embeddings
在 Mac 上本地跑视觉/文本嵌入模型,轻松搞定 RAG 和语义搜索
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 452
使用教程
环境要求
- Apple Silicon Mac
- Python 3.9+
安装与启动步骤
-
1确认是 Apple Silicon
它基于 MLX,只有苹果芯片的机器能跑。
uname -m -
2装包
一条命令装完,依赖会带上 MLX 本身。
pip install mlx-embeddings -
3转换或下载模型
支持把 HuggingFace 上的嵌入模型转成 MLX 格式。
python -m mlx_embeddings.convert --model <模型名> -
4算一组向量看维度
先用两个句子算相似度,确认输出维度与归一化方式。
如何确认成功
两段语义相近的中文算出的余弦相似度明显高于无关句子,且向量维度与所选模型卡一致
注意事项
- 只在 Apple Silicon 上有意义,Intel Mac 与其它平台装了也用不了。
- 它覆盖多种嵌入模型架构,但并非全部 HF 模型都能转。
- 嵌入模型对中文的支持差异很大,先拿自己的语料试再定。
- 批量编码时注意内存,MLX 的缓存不会自动回收。
核心亮点
- 基于 MLX 框架,针对 Apple Silicon 深度优化,推理速度快
- 同时支持视觉和语言嵌入模型,覆盖多模态场景
- 本地运行,数据不出设备,隐私安全且无需网络
不足之处
- 仅支持 macOS 平台,不适用于 Windows/Linux 用户
- 项目处于早期阶段,文档和社区生态待观察
适用场景
- 在 Mac 上开发本地 RAG 应用,快速生成文档嵌入
- 构建离线语义搜索或推荐系统,保护数据隐私
- 多模态场景下,对图片和文本进行统一向量化
替代项目
sentence-transformers、text-embeddings-inference、fastembed
上一篇:rag-chatbot
下一篇:ThinkRAG
同类项目推荐
search-gpt
开源
让 ChatGPT 联网搜索,回答实时问题
Connecting ChatGPT with the Internet
VARAG
开源
让 RAG 看懂图片,多模态问答更准确
Vision-Augmented Retrieval and Generation (VARAG) - Vision first RAG Engine
RAG-using-Llama3-Langchain-and-C···
开源
三步搭起本地知识库问答,让Llama3学会翻书再回答
RAG using Llama3, Langchain and ChromaDB
twosetai
开源
边看代码边学搜索知识,动手实践入门
All the code and materials
PapersChat
开源
和你的论文对话,还能顺手查遍 ArXiv 和 PubMed
An agentic AI application that allows you to chat with your papers and gather also i···
Hyper-RAG
开源
用超图建模文档关系,让 RAG 检索更准,减少幻觉。
"Hyper-RAG: Combating LLM Hallucinations using Hypergraph-Driven Retrieval-Augmented···
blog
开源
用博客记录技术成长,一键部署到GitHub Pages
:memo: 记录个人博客,见证成长之路 https://wangtunan.github.io/blog/
omnibox
开源
碎片信息一键收拢,查过收藏过的不再丢
Anywhere, anything to memory, memory to anything.
Awesome-LLM-RAG
开源
一份清单,带你快速摸清 RAG 全貌
Awesome-LLM-RAG: a curated list of advanced retrieval augmented generation (RAG) in ···