tt-metal

用 Tenstorrent 硬件跑 AI 模型,底层算子与内核编程一手掌控

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 图像生成 🍴 复刻 11 🐛 待处理 7531 👀 关注 21
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 118
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0许可证,可免费使用和部署。

项目预览

tt-metal 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类图像生成
开发团队tenstorrent
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0许可证,可免费使用和部署。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型accelerator,ai,cuda,deepseek,gpu,img-gen,kernels,llama,llm,metal,scale-out,stable-diffusion,tenstorrent,video-gen
GitHub 星标★ 118
上线时间2023-02-13 00:00:00
代码更新2026-11-09
仓库体积2.42 GB
本站数据更新2026-11-09
维护状态活跃
收录时间2026-08-09
浏览次数8

项目介绍

tt-metal 是 Tenstorrent 公司推出的底层算子库与内核编程模型,包含 TT-NN 算子库和 TT-Metalium 低层内核编程接口。它旨在为 Tenstorrent 的 AI 加速器硬件提供高性能的编程抽象,解决开发者难以直接利用该硬件进行深度学习计算的问题。核心能力包括:提供丰富的神经网络算子(如矩阵乘、卷积、注意力等),支持 Stable Diffusion、LLM(如 Llama、DeepSeek)等主流模型的推理与训练,并具备多芯片扩展(scale-out)能力。通过 TT-Metalium,开发者可以编写自定义内核,精细控制数据流与计算,从而榨取硬件性能。项目采用 C++ 实现,面向高性能计算场景,是构建 AI 应用与底层硬件之间的关键桥梁。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 118

技术标签

使用教程

⚠ 本教程由 AI 依据该项目 README 整理;原始文档不完整,部分步骤为通用流程推断,实际安装请以项目官方文档为准。

难度:高级 约 30 分钟 部署方式:本地安装 4 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • Tenstorrent AI 加速器硬件(README 链接到 Hardware 页面,如 Blackhole)
  • Python 与 C++ 开发环境(TT-NN 是 Python & C++ 神经网络算子库)
  • 能访问 GitHub 与 Tenstorrent 官方文档站的网络环境

安装与启动步骤

  1. 1克隆项目仓库

    从 GitHub 拉取 tt-metal 源码到本地,网络较慢时可加代理或使用镜像。

    git clone https://github.com/tenstorrent/tt-metal.git
  2. 2进入项目目录

    切换到克隆下来的仓库根目录,后续操作都在此目录进行。

    cd tt-metal
  3. 3查看安装文档

    README 顶部 Install 链接指向仓库内 INSTALLING.md,具体依赖安装与编译命令以该文件为准。

    cat INSTALLING.md
  4. 4跑通简单内核示例

    按 README 指引打开官方 simple kernels 示例文档,按示例验证算子与内核可正常调用。

如何确认成功

README 未给出明确验证命令;可运行官方 simple kernels 示例文档中的例子,能正常编译执行即说明环境可用。

常见问题

Q:只按 README 能完成安装吗?

A:不能。README 仅提供 Install 链接,完整安装步骤在仓库的 INSTALLING.md 中,请以该文档为准。

Q:没有 Tenstorrent 加速卡能安装使用吗?

A:tt-metal 面向 Tenstorrent 加速器硬件,README 首行即指向 Hardware 页面,无对应硬件通常无法实际运行内核与模型。

Q:支持哪些模型?

A:README 提到 Stable Diffusion、Llama、DeepSeek 等主流模型的推理与训练,完整列表见 Model Matrix 与开发者中心。

Q:TT-NN 和 TT-Metalium 有什么区别?

A:TT-NN 是 Python & C++ 神经网络算子库,提供现成算子;TT-Metalium 是低层内核编程接口,可自定义内核控制数据流与计算。

注意事项

  • README 节选未包含任何安装命令,本教程步骤仅为通用准备动作,详细安装请查阅 INSTALLING.md。
  • 项目主要语言为 C++,依赖与编译较复杂,建议严格按官方文档逐步执行。
  • README 定义了 TTFT、T/S/U、T/S、TP、DP 等性能指标,评估 LLM 性能时需按此口径理解。
  • 需要 Tenstorrent 硬件才能实际运行,无硬件时仅能做源码阅读与准备。

核心亮点

  • 提供 TT-NN 高层算子库,覆盖 Stable Diffusion、LLM 等主流模型,上手门槛低
  • TT-Metalium 支持自定义内核,可精细控制数据流与计算,性能优化空间大
  • 原生支持多芯片 scale-out,适合大规模分布式推理与训练

不足之处

  • 硬件生态较新,社区规模与文档丰富度相比 CUDA 仍有差距
  • 依赖特定 Tenstorrent 硬件,无法在通用 GPU 上运行,迁移成本高

适用场景

  • 在 Tenstorrent 加速卡上部署 Stable Diffusion 等图像生成模型
  • 为 LLM 推理定制高性能内核,优化延迟与吞吐
  • 构建多卡扩展的 AI 训练或推理集群

替代项目

CUDA、ROCm、oneAPI

上一篇:openvino

下一篇:ComfyUI-Docker

同类项目推荐

arboric 开源

给 AI 算力开经济模式,省 GPU 跑更多活

The "Economy Mode" for AI Compute

★ 45 2026-08-09
new-api 开源

一个网关接入所有大模型,协议随意转换,省心又省钱

Open-source AI gateway. Self-hosted LLM gateway with OpenAI-, Claude- and Gemini-com···

★ 51612 2026-08-09
recodex 开源

自建 Codex 中转站,轻松管理 AI 请求

Codex中转,可自部署的代理服务

★ 68 2026-08-09
inference 开源

一行代码切换任意大模型,部署推理全搞定

Swap GPT for any LLM by changing a single line of code. Xinference lets you run open···

★ 9649 2026-08-09
cache-dit 开源

让大 DiT 模型在有限显存下跑得更快更省

A PyTorch-native inference engine with cache, parallelism, quantization and cpu offl···

★ 1303 2026-10-17
MLOps.NET 开源

让 ML.NET 模型也能像软件一样版本化、可追踪、易部署

A machine learning model operations and management tool for ML.NET

★ 81 2026-08-09
console 开源

集中管密钥,团队和 AI 代理都能安全取用

Secrets management for teams and AI agents.

★ 948 2026-09-22
vllm-mlx 开源

在 Mac 上本地跑大模型,速度超快,兼容 OpenAI 和 Claude。

High-performance OpenAI and Anthropic compatible LLM inference server for Apple Sili···

★ 1651 2026-08-09
Windows-Copilot-API 开源

把 Windows Copilot 变成 OpenAI 兼容接口,开箱即调

Reverse engineered Windows Copilot into an OpenAI-compatible API. Access GPT-4 and G···

★ 1265 2026-10-31