TensorFold

Mac 本地跑大模型，快而不糊，接口直接兼容 OpenAI

TensorFold 是一个面向 Apple Silicon 的 LLM 推理加速项目，基于 MLX 框架实现快速且精确的解码，并对外暴露 OpenAI 兼容的 API 端点。它要解决的问题是：在 Mac 本地跑大模型时，常见方案要么速度慢，要么为了提速牺牲输出精度（如投机解码的近似采样）。TensorFold 通过精确解码算法与 MLX 的 Metal 加速结合，让本地推理既快又不改变模型原本的输出分布。核心能力包括：OpenAI 兼容接口，可直接替换现有客户端；针对 Apple 统一内存架构优化，支持本地部署；面向 LLM 工具链设计，便于接入现有 AI 应用。项目用 Python 编写，定位为基础设施层，适合想在 Mac 上低成本、低延迟运行大模型且不愿牺牲生成质量的开发者。