jangq

把 GGUF 模型搬上 Mac 的 MLX,量化后照样跑得动

开源 unknown 基础设施
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 229
维护状态 活跃
是否开源 是
定价模式 unknown

项目预览

项目数据

分类基础设施
开发团队jjang-ai
所属国家
官网地址https://jangq.ai
定价模式unknown
价格说明定价信息待确认
访问状态
是否开源是
开源协议
主要语言Python
技术栈/模型apple-silicon,gguf,jang-quantization,llamacpp,llm,mlx,mlxllm,omlx,omlx-alternative,quantization
GitHub 星标★ 229
30天Star增速
HF 下载量
上线时间2026-03-15 00:00:00
代码更新—
仓库体积—
本站数据更新—
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-10-16
浏览次数0

项目介绍

JANG 是一个面向 Apple Silicon 的模型量化与推理运行时,核心目标是把原本为 llama.cpp 生态设计的 GGUF 格式模型,转换为可在 MLX 框架上高效运行的格式。它解决的是 Mac 用户在本地跑大模型时,GGUF 与 MLX 两套生态割裂、量化精度与速度难以兼顾的问题。项目采用自适应混合精度量化策略,对不同层或张量分配不同位宽,在压缩模型体积的同时尽量保留推理质量,并配套提供 JANG_Q 运行时来加载和执行这些量化模型。它支持从 GGUF 导入、量化转换到本地推理的完整链路,适合希望在 Mac 上离线运行大模型、又不想被单一框架锁定的开发者。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

正在加载星标数据…

技术标签

使用教程

—

核心亮点

  • 自适应混合精度量化,按层分配位宽,比统一低位量化更保精度
  • 打通 GGUF 与 MLX 生态,让 llama.cpp 格式模型能在 Apple Silicon 上高效推理
  • 提供配套 JANG_Q 运行时,量化与执行链路完整,不依赖外部转换工具

不足之处

  • 强绑定 JANG_Q 运行时,使用门槛和迁移成本较高
  • 项目处于早期,星标仅 229,文档与社区案例有限

适用场景

  • Mac 用户在本地离线运行 GGUF 格式大模型
  • 把已有 llama.cpp 量化模型迁移到 MLX 推理
  • 对模型体积和推理质量同时有要求的 Apple Silicon 部署

替代项目

llama.cpp、mlx-lm

上一篇:PS5LM

下一篇:qwen38-mtp

同类项目推荐

freebuff-proxy 开源

聚合多账号,一键接入 OpenAI 兼容 API,轻松管理会话。

DEPRECATED — moved to https://github.com/trefeon/freelane. Archived; no longer main···

★ 300 2026-08-20
microduck 开源

用 Rust 造一只会走路的桌面小鸭,快速上手双足机器人。

A Tiny biped duck robot

★ 9427 2026-09-10
ollama 开源

一条命令本地跑起大模型,免费、私密、不卡顿

Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···

★ 183283 2026-08-09
soperator 开源

用 Kubernetes 原生方式运行 Slurm,简化 HPC 集群管理。

Run Slurm in Kubernetes

★ 444 2026-08-10