pmetal

Mac 上一条龙跑大模型：推理、微调、服务全本地

PMetal 是一个面向 Apple Silicon 的高性能本地大模型框架，用 Rust 编写，目标是在 Mac 上把 LLM 推理、LoRA/QLoRA 微调、模型服务和量化整合到一套工具链里。它针对 M 系列芯片的 Metal GPU 和神经引擎（ANE）做加速，支持 GGUF 等常见格式，让开发者不必依赖云端就能在本地跑推理、做轻量微调、起一个推理服务，还能做知识蒸馏。相比零散拼装 llama.cpp、MLX 等工具，PMetal 试图提供统一入口，覆盖从加载、量化到部署的完整流程，适合想在 Mac 上做私有化 AI 应用、原型验证或研究微调的个人与团队。项目处于早期，星标约 314，生态和文档仍在完善中。

开源 unknown 基础设施

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 316

维护状态活跃

是否开源是

定价模式 unknown

项目数据

分类基础设施

开发团队Epistates

所属国家

官网地址https://pmetal.io

GitHubhttps://github.com/Epistates/pmetal

定价模式unknown

价格说明定价信息待确认

访问状态

是否开源是

开源协议NOASSERTION

主要语言Rust

技术栈/模型ai,ane,apple-silicon,deep-learning,distillation,fine-tuning,gguf,inference-server,llm,llm-inference,llm-training,lora,machine-learning,macos,metal,mlx,qlora,quantization,transformers,tui

GitHub 星标★ 316

30天Star增速

HF 下载量

上线时间2026-01-12 00:00:00

最近更新2026-09-17 00:00:00

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-09-16

浏览次数0

使用教程

核心亮点

用 Rust 实现，兼顾性能与内存安全，适合长期维护的基础设施
同时覆盖推理、LoRA/QLoRA 微调、量化、服务和蒸馏，工具链较完整
针对 Apple Silicon 的 Metal 与 ANE 做专门加速，发挥 M 系列芯片优势

不足之处

项目早期，文档和示例可能不够完善
社区规模小，遇到问题可参考的案例和讨论有限

适用场景

在 Mac 上本地部署私有 LLM，处理敏感数据不出本机
用 LoRA/QLoRA 对开源模型做轻量微调并快速验证效果
把本地模型封装成推理服务，供内部工具或应用调用

替代项目

llama.cpp、MLX、Ollama

项目介绍

pmetal 是基础设施领域的开源项目，由 Epistates 开发，是 2026 年新上线的项目。

它收录于基础设施分类，该分类目前共有 1,114 个项目，GitHub 星标数为 316。

项目目前处于活跃维护状态，最近一次代码更新于 2026-09-17。从国内网络环境看，访问稳定性一般，建议自备网络条件。

它主要面向的使用场景是：在Mac上本地部署私有LLM，处理敏感数据不出本机。同类可对比的替代方案包括 llama.cpp、MLX、Ollama。

上一篇：toshllm

下一篇：aws-lambda-power-tuning