项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-10-06 · 当前星标 ★ 3524
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- 搭载 Apple Silicon 芯片的 Mac(M 系列)
- Python 3.12(命令中使用 python3.12)
- 可联网下载模型权重(首次启动需拉取模型)
- 内存建议 16 GB 及以上,内存越大体验越好
安装与启动步骤
-
1一键脚本安装
README 提供的一键安装方式,脚本会自动完成主体部署;在终端直接执行即可。
curl -fsSL https://raw.githubusercontent.com/nicedreamzapp/claude-code-local/main/install.sh | bash -
2创建 MLX 虚拟环境
手动方式的第一步:用 Python 3.12 在 ~/.local/mlx-server 建独立虚拟环境,避免污染系统环境。
python3.12 -m venv ~/.local/mlx-server -
3安装 mlx-lm
把 Apple MLX 的推理库 mlx-lm 装进刚建好的虚拟环境,后续服务端靠它在本机跑模型。
~/.local/mlx-server/bin/pip install mlx-lm -
4启动本地模型服务
指定要加载的模型与仓库内的 proxy/server.py 路径,再运行启动脚本拉起 Anthropic 兼容服务端。
MLX_MODEL=divinetribe/gemma-4-31b-it-abliterated-4bit-mlx \ MLX_SERVER="$PWD/proxy/server.py" \ bash scripts/start-mlx-server.sh
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
MLX_MODEL | 是 | 指定要加载的本地模型,决定能力与显存占用。 | divinetribe/gemma-4-31b-it-abliterated-4bit-mlx |
MLX_SERVER | 是 | 指向仓库内 proxy/server.py 的路径,启动脚本据此拉起服务。 | $PWD/proxy/server.py |
如何确认成功
启动脚本运行后服务端在本机监听;再用 Claude Code 打开项目,若不再提示 usage limit 且能正常读写文件,即成功。
常见问题
Q:遇到 Claude 用量上限还能继续用吗?
A:可以。本项目让同一个 Claude Code 继续工作,但回答你的模型换成本机运行的本地模型,不消耗云端额度。
Q:需要 Anthropic API Key 或联网调用云端模型吗?
A:不需要。README 明确说明无需 API key,模型在你的 Mac 芯片上用 MLX 本地推理。
Q:16 GB 内存的 MacBook 能跑吗?
A:README 说明即使 16 GB MacBook 也能跑,内存越大效果越好,模型选择上可优先较小参数的版本。
Q:Windows 或 Intel Mac 可以用吗?
A:不行。项目基于 Apple Silicon 与 Apple MLX,README 的标签明确限定 Mac / Apple Silicon。
注意事项
- 数据完全留在本机,不出设备、可离线,适合隐私合规与空气隔离场景。
- 一键 install.sh 与手动 venv 两种方式二选一即可,不要混用造成环境混乱。
- 启动脚本依赖当前目录为仓库根目录,否则 $PWD/proxy/server.py 会指向错误路径。
- 首次启动需要下载模型权重,耗时和磁盘占用取决于所选模型规模。
核心亮点
- 用 MLX 原生实现 Anthropic API 兼容层,Claude Code 客户端无需改动即可切换本地模型
- 内置多款模型可选,覆盖 30B 多模态到 122B 大模型,Qwen 3.5 122B 实测约 65 tok/s
- 支持空气隔离与完全离线,数据不出设备,契合 NDA、法律、医疗等合规场景
不足之处
- 仅支持 Apple Silicon,非 Mac 用户无法使用
- 依赖本地大模型,实际编码能力与云端 Claude 仍有差距
- 模型体积大,对统一内存容量要求高,入门门槛不低
适用场景
- 律师或医疗团队在签署 NDA 后用本地模型处理敏感代码与文档
- 无网络或空气隔离环境下的离线 AI 编程与代码补全
- 开发者想在 Mac 上零成本、零数据外泄地体验 Claude Code 工作流
替代项目
ollama、llama.cpp、LM Studio
同类项目推荐
vulcan-sql
开源
把数据仓库变成AI能直接调用的API,让Agent轻松取数。
Data API Framework for AI Agents and Data Apps
mixtral-offloading
开源
让 8x7B 大模型在低配电脑上跑起来
Run Mixtral-8x7B models in Colab or consumer desktops
Crane
开源
纯 Rust 多模态推理引擎,一个栈跑通文本、视觉、语音与 OCR。
A Pure Rust based LLM, VLM, VLA, TTS, OCR Inference Engine, powering by Candle & Rus···
vllm-sly-radiance
开源
让 AMD R9700 跑 vLLM 推理更快更稳
Working on the fastest vllm path for AMD Radeon AI PRO R9700
tensorrtllm_backend
开源
在 Triton 上直接跑 TensorRT-LLM,省去自研推理服务
The Triton TensorRT-LLM Backend
restai
开源
一键将多种AI模型封装为API,可视化搭建AI服务
RESTai is an AIaaS (AI as a Service) open-source platform. Supports many public and ···
rerun
开源
实时可视化多模态机器人数据,让调试和训练更高效
Visualize, query, and stream to train on multimodal robotics data.
tokencost
开源
输入模型和 token 数,秒估 400+ 大模型成本
Easy token price estimates for 400+ LLMs. TokenOps.
claude-tap
开源
本地拦截 AI 编程代理流量,可视化调试每个 API 调用
Intercept and inspect Coding Agent API traffic from Claude Code, Codex CLI, Gemini C···
