项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-10-04 · 当前星标 ★ 2321
技术标签
使用教程
环境要求
- Python 3.11 或更新版本
- Mac 上需要 MLX 0.32.2 或更新版本(pip 安装时会一并装上)
- NVIDIA GPU 需要计算能力 8.9 及以上(Ada/RTX 40、Hopper、Blackwell,含 DGX Spark GB10 与 RTX 50
安装与启动步骤
-
1检查 Python 版本
TensorFold 要求 Python 3.11 或更新版本,先确认本机版本是否满足,否则先升级。
python --version -
2用 pip 安装
直接从 GitHub 仓库安装,pip 会自动处理依赖;Mac 上同时会装上 MLX。
python -m pip install git+https://github.com/ashhart/TensorFold.git -
3Mac 用 Homebrew 安装
在 Mac 上也可以改用 Homebrew 安装,与 pip 方式二选一即可。
brew install ashhart/tensorfold/tensorfold -
4安装视觉扩展
只有需要图片输入(如受支持的 GLM-5.3-Flash)时才需要装 vision 额外依赖。
python -m pip install 'tensorfold[vision] @ git+https://github.com/ashhart/TensorFold.git' -
5启动推理服务
用 tensorfold serve 加载 README 给出的模型,服务会以 OpenAI 兼容接口对外提供。
tensorfold serve TensorFold/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-MLX-4bit -
6获取模型 ID
用 /v1/models 查询可用模型 ID,客户端请求时填这个 ID 作为 model 字段。
curl http://127.0.0.1:8080/v1/models
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
base_url | 是 | 客户端使用的 OpenAI 兼容接口基础地址 | http://127.0.0.1:8080/v1 |
model | 是 | 调用时传入的模型 ID,从 /v1/models 接口获取 | TensorFold/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-MLX-4bit |
如何确认成功
访问 http://127.0.0.1:8080/v1/models 能返回模型列表,即说明服务启动成功。
常见问题
Q:RTX 30 系列显卡能跑吗?
A:不支持。CUDA 内核要求计算能力 8.9 及以上,低于该值的 GPU 在服务启动时会被直接拒绝。
Q:Mac 上要自己装 MLX 吗?
A:不用。在 Mac 上 pip 安装 TensorFold 时会一并装上 MLX 0.32.2 或更新版本。
Q:支持哪些接口?
A:chat completions、completions,以及 OpenAI Responses(/v1/responses)和 Anthropic Messages(/v1/messages)。
Q:Python 版本有要求吗?
A:需要 Python 3.11 或更新版本,版本过低会导致安装或运行失败。
注意事项
- NVIDIA 后端仅支持计算能力 8.9 及以上的 GPU(Ada/RTX 40、Hopper、Blackwell、DGX Spark GB10、RTX 50 系列)。
- NVFP4 与 FP8 检查点从 8.9 起可用,具体走哪种精度的计算路径取决于 GPU 的 mma 支持情况。
- README 给出的客户端 base URL 为 http://127.0.0.1:8080/v1,模型 ID 需从 /v1/models 获取。
核心亮点
- 基于 MLX 原生利用 Apple Silicon 的 Metal 与统一内存,本地推理延迟低
- 强调 exact decoding,不牺牲输出分布,适合对生成质量敏感的场景
- 提供 OpenAI 兼容端点,现有客户端和工具链几乎零改动即可接入
不足之处
- 仅支持 Apple Silicon,无法在 NVIDIA/AMD 或纯 CPU 环境使用
- 项目星标约 953,属早期阶段,生态与文档成熟度待观察
适用场景
- 在 MacBook 上本地部署私有 LLM,供内部工具调用
- 用 OpenAI SDK 写好的应用直接切到本地端点,降低 API 成本
- 对生成精度要求高的本地推理任务,如代码补全、结构化输出
替代项目
mlx-lm、llama.cpp、vLLM
上一篇:HuggingFaceModelDownloader
下一篇:pooled
同类项目推荐
dstoolkit-mlops-databricks
开源
统一 Databricks 与 Azure ML,一键搭建 MLOps 流水线
ML Ops Accelerator: Databricks & Azure Machine Learning Unification
foundry-local
开源
把云端 AI 搬到本地,离线也能跑大模型和语音识别
OmniStudio
开源
本地跑大模型,下载到多模态应用一个桌面全搞定
OmniStudio 是一个本地大模型一体化桌面工作台,集模型市集下载、llama.cpp/vLLM/SGLang 三···
E2B
开源
让 AI 智能体安全地运行代码、操作文件,直接对接真实世界工具
Open-source, secure environment with real-world tools for enterprise-grade agents.
vektori
开源
让 AI 代理记住完整故事,而非零散事实
Memory that remembers the story not just the facts. File System Memory and Three lay···
WaLiAPI
开源
把多家大模型渠道收进本地网关,一个地址喂给所有 AI 编程工具
WaLiAPI 是一款本地运行的 LLM API 网关桌面软件(Tauri 2 + React + Rust)。支持各类 LL···
timber
开源
一条命令把 XGBoost 等模型编译成 C 代码,推理快 336 倍
Ollama for classical ML models. AOT compiler that turns XGBoost, LightGBM, scikit-le···
pasllm
开源
在 Pascal 里跑大模型,让 Delphi/Lazarus 也能做 AI 对话。
PasLLM - LLM inference engine in Object Pascal (synced from my private work reposito···
clewdr
开源
一个入口统一转发多家大模型 API,高并发低延迟
High Performance LLM Reverse Proxy
