LLaMA_MPS
在 Mac 上让 LLaMA 跑得更快，用上 GPU 加速推理。
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 575
使用教程
环境要求
- 苹果 M 系列芯片
- Python 环境
- 模型权重
安装与启动步骤
-
1先确认状态
这是早期在苹果芯片上跑大模型的尝试，已长期无更新。
-
2看它当年怎么做
用虚拟环境装老依赖，理解早期后端接法。
pip3 install virtualenv -
3装依赖
版本要按当年的来，新版框架已不兼容。
pip3 install -r requirements.txt -
4装成可编辑包
方便改代码看内部。
pip3 install -e . -
5现在该用什么
要跑本地模型请换 llama.cpp 或 MLX 系列，别在这耗。
如何确认成功
能说清它当年解决了什么问题，并在当前机器上用现代方案跑通一个同等规模的模型
注意事项
- 项目已停更，依赖老旧，新机器上大概率装不起来。
- 现在跑本地模型请用 llama.cpp 或 MLX，性能与生态都更好。
- 它的价值在于理解早期苹果芯片推理的实现方式。
- 别把它当生产方案。
核心亮点
- 针对 Apple Silicon 的 MPS 后端做了专门优化，推理速度比 CPU 快数倍
- 支持 LLaMA 和 Stanford-Alpaca 模型，命令行一键运行，上手简单
- 代码简洁，基于 PyTorch，易于二次开发和集成到其他项目
不足之处
- 仅支持 Apple Silicon，Intel Mac 和 Nvidia GPU 用户无法使用
- 项目处于早期阶段，文档较少，社区贡献和更新频率待观察
适用场景
- 在 MacBook 上本地运行 LLaMA 聊天机器人，无需联网
- 对 Alpaca 模型进行微调后的推理验证和性能测试
- 作为学习 MPS 加速 LLM 推理的参考实现
替代项目
llama.cpp、mlc-llm、gpt4all
上一篇：AI-in-a-Box
下一篇：caiss
同类项目推荐
rust-mlops-template
开源
用 Rust 搭建高性能 MLOps 基础设施，告别 Python 性能瓶颈
A work in progress to build out solutions in Rust for MLOPs
mongo
开源
不用建表，存 JSON 文档，海量数据轻松横向扩展
The MongoDB Database
ai-infra-landscape
开源
一张图看懂生成式AI基础设施全景，快速定位技术选型
This is a landscape of the infrastructure that powers the generative AI ecosystem
fastapi
开源
一个网关接入所有大模型，企业 AI 集成快人一步
企业级 LLM API 快速集成系统，支持OpenAI、Azure、文心一言、讯飞星火、通义千问、智谱GL···
ray
开源
把 Python 代码一键变成分布式，搞定大规模 AI 训练和部署
Ray is an AI compute engine. Ray consists of a core distributed runtime and a set of···
vpod
开源
给 AI 代码执行加个安全壳，防跑飞防破坏
Lightweight, secure Linux sandboxes for untrusted processes. Runs in the browser and···
webclaw
开源
本地快速抓网页，一键转 Markdown 喂给大模型
Fast, local-first web content extraction for LLMs. Scrape, crawl, extract structured···
azure-enterprise-scale-ml
开源
在Azure上快速搭建合规的企业级AI平台，省心又安全
Enterprise Scale Azure Factory (ESAF) - on Azure
kiwi-mem
开源
给 AI 伴侣装上会遗忘、会做梦的长期记忆
Self-hosted memory gateway for AI companions — OpenAI-compatible proxy with vector ···