TensorFold

Mac 本地跑大模型,快而不糊,接口直接兼容 OpenAI

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 基础设施 🍴 复刻 542 🐛 待处理 774 👀 关注 12
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 2321
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费,需自行部署

项目预览

TensorFold 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类基础设施
开发团队ashhart
定价模式🏷️完全免费
价格说明开源免费,需自行部署
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Zig
技术栈/模型ai,ai-tools,llm,llm-inference,llm-tools
GitHub 星标★ 2321
上线时间2026-06-19 00:00:00
代码更新2026-11-18
仓库体积77.8 MB
本站数据更新2026-11-18
维护状态活跃
收录时间2026-10-04
浏览次数7

项目介绍

TensorFold 是一个面向 Apple Silicon 的 LLM 推理加速项目,基于 MLX 框架实现快速且精确的解码,并对外暴露 OpenAI 兼容的 API 端点。它要解决的问题是:在 Mac 本地跑大模型时,常见方案要么速度慢,要么为了提速牺牲输出精度(如投机解码的近似采样)。TensorFold 通过精确解码算法与 MLX 的 Metal 加速结合,让本地推理既快又不改变模型原本的输出分布。核心能力包括:OpenAI 兼容接口,可直接替换现有客户端;针对 Apple 统一内存架构优化,支持本地部署;面向 LLM 工具链设计,便于接入现有 AI 应用。项目用 Python 编写,定位为基础设施层,适合想在 Mac 上低成本、低延迟运行大模型且不愿牺牲生成质量的开发者。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-04 · 当前星标 ★ 2321

使用教程

难度:入门 约 10 分钟 部署方式:本地安装 6 步

环境要求

  • Python 3.11 或更新版本
  • Mac 上需要 MLX 0.32.2 或更新版本(pip 安装时会一并装上)
  • NVIDIA GPU 需要计算能力 8.9 及以上(Ada/RTX 40、Hopper、Blackwell,含 DGX Spark GB10 与 RTX 50

安装与启动步骤

  1. 1检查 Python 版本

    TensorFold 要求 Python 3.11 或更新版本,先确认本机版本是否满足,否则先升级。

    python --version
  2. 2用 pip 安装

    直接从 GitHub 仓库安装,pip 会自动处理依赖;Mac 上同时会装上 MLX。

    python -m pip install git+https://github.com/ashhart/TensorFold.git
  3. 3Mac 用 Homebrew 安装

    在 Mac 上也可以改用 Homebrew 安装,与 pip 方式二选一即可。

    brew install ashhart/tensorfold/tensorfold
  4. 4安装视觉扩展

    只有需要图片输入(如受支持的 GLM-5.3-Flash)时才需要装 vision 额外依赖。

    python -m pip install 'tensorfold[vision] @ git+https://github.com/ashhart/TensorFold.git'
  5. 5启动推理服务

    用 tensorfold serve 加载 README 给出的模型,服务会以 OpenAI 兼容接口对外提供。

    tensorfold serve TensorFold/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-MLX-4bit
  6. 6获取模型 ID

    用 /v1/models 查询可用模型 ID,客户端请求时填这个 ID 作为 model 字段。

    curl http://127.0.0.1:8080/v1/models

关键配置

配置项必填说明示例
base_url是客户端使用的 OpenAI 兼容接口基础地址http://127.0.0.1:8080/v1
model是调用时传入的模型 ID,从 /v1/models 接口获取TensorFold/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-MLX-4bit

如何确认成功

访问 http://127.0.0.1:8080/v1/models 能返回模型列表,即说明服务启动成功。

常见问题

Q:RTX 30 系列显卡能跑吗?

A:不支持。CUDA 内核要求计算能力 8.9 及以上,低于该值的 GPU 在服务启动时会被直接拒绝。

Q:Mac 上要自己装 MLX 吗?

A:不用。在 Mac 上 pip 安装 TensorFold 时会一并装上 MLX 0.32.2 或更新版本。

Q:支持哪些接口?

A:chat completions、completions,以及 OpenAI Responses(/v1/responses)和 Anthropic Messages(/v1/messages)。

Q:Python 版本有要求吗?

A:需要 Python 3.11 或更新版本,版本过低会导致安装或运行失败。

注意事项

  • NVIDIA 后端仅支持计算能力 8.9 及以上的 GPU(Ada/RTX 40、Hopper、Blackwell、DGX Spark GB10、RTX 50 系列)。
  • NVFP4 与 FP8 检查点从 8.9 起可用,具体走哪种精度的计算路径取决于 GPU 的 mma 支持情况。
  • README 给出的客户端 base URL 为 http://127.0.0.1:8080/v1,模型 ID 需从 /v1/models 获取。

核心亮点

  • 基于 MLX 原生利用 Apple Silicon 的 Metal 与统一内存,本地推理延迟低
  • 强调 exact decoding,不牺牲输出分布,适合对生成质量敏感的场景
  • 提供 OpenAI 兼容端点,现有客户端和工具链几乎零改动即可接入

不足之处

  • 仅支持 Apple Silicon,无法在 NVIDIA/AMD 或纯 CPU 环境使用
  • 项目星标约 953,属早期阶段,生态与文档成熟度待观察

适用场景

  • 在 MacBook 上本地部署私有 LLM,供内部工具调用
  • 用 OpenAI SDK 写好的应用直接切到本地端点,降低 API 成本
  • 对生成精度要求高的本地推理任务,如代码补全、结构化输出

替代项目

mlx-lm、llama.cpp、vLLM

上一篇:HuggingFaceModelDownloader

下一篇:pooled

同类项目推荐

dstoolkit-mlops-databricks 开源

统一 Databricks 与 Azure ML,一键搭建 MLOps 流水线

ML Ops Accelerator: Databricks & Azure Machine Learning Unification

★ 83 2026-08-09
foundry-local 开源

把云端 AI 搬到本地,离线也能跑大模型和语音识别

★ 2657 2026-08-10
OmniStudio 开源

本地跑大模型,下载到多模态应用一个桌面全搞定

OmniStudio 是一个本地大模型一体化桌面工作台,集模型市集下载、llama.cpp/vLLM/SGLang 三···

★ 217 2026-09-29
E2B 开源

让 AI 智能体安全地运行代码、操作文件,直接对接真实世界工具

Open-source, secure environment with real-world tools for enterprise-grade agents.

★ 14919 2026-08-09
vektori 开源

让 AI 代理记住完整故事,而非零散事实

Memory that remembers the story not just the facts. File System Memory and Three lay···

★ 138 2026-08-09
WaLiAPI 开源

把多家大模型渠道收进本地网关,一个地址喂给所有 AI 编程工具

WaLiAPI 是一款本地运行的 LLM API 网关桌面软件(Tauri 2 + React + Rust)。支持各类 LL···

★ 167 2026-10-02
timber 开源

一条命令把 XGBoost 等模型编译成 C 代码,推理快 336 倍

Ollama for classical ML models. AOT compiler that turns XGBoost, LightGBM, scikit-le···

★ 692 2026-08-09
pasllm 开源

在 Pascal 里跑大模型,让 Delphi/Lazarus 也能做 AI 对话。

PasLLM - LLM inference engine in Object Pascal (synced from my private work reposito···

★ 109 2026-08-09
clewdr 开源

一个入口统一转发多家大模型 API,高并发低延迟

High Performance LLM Reverse Proxy

★ 1310 2026-09-16