项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 118
使用教程
⚠ 本教程由 AI 依据该项目 README 整理;原始文档不完整,部分步骤为通用流程推断,实际安装请以项目官方文档为准。
⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。
环境要求
- Tenstorrent AI 加速器硬件(README 链接到 Hardware 页面,如 Blackhole)
- Python 与 C++ 开发环境(TT-NN 是 Python & C++ 神经网络算子库)
- 能访问 GitHub 与 Tenstorrent 官方文档站的网络环境
安装与启动步骤
-
1克隆项目仓库
从 GitHub 拉取 tt-metal 源码到本地,网络较慢时可加代理或使用镜像。
git clone https://github.com/tenstorrent/tt-metal.git -
2进入项目目录
切换到克隆下来的仓库根目录,后续操作都在此目录进行。
cd tt-metal -
3查看安装文档
README 顶部 Install 链接指向仓库内 INSTALLING.md,具体依赖安装与编译命令以该文件为准。
cat INSTALLING.md -
4跑通简单内核示例
按 README 指引打开官方 simple kernels 示例文档,按示例验证算子与内核可正常调用。
如何确认成功
README 未给出明确验证命令;可运行官方 simple kernels 示例文档中的例子,能正常编译执行即说明环境可用。
常见问题
Q:只按 README 能完成安装吗?
A:不能。README 仅提供 Install 链接,完整安装步骤在仓库的 INSTALLING.md 中,请以该文档为准。
Q:没有 Tenstorrent 加速卡能安装使用吗?
A:tt-metal 面向 Tenstorrent 加速器硬件,README 首行即指向 Hardware 页面,无对应硬件通常无法实际运行内核与模型。
Q:支持哪些模型?
A:README 提到 Stable Diffusion、Llama、DeepSeek 等主流模型的推理与训练,完整列表见 Model Matrix 与开发者中心。
Q:TT-NN 和 TT-Metalium 有什么区别?
A:TT-NN 是 Python & C++ 神经网络算子库,提供现成算子;TT-Metalium 是低层内核编程接口,可自定义内核控制数据流与计算。
注意事项
- README 节选未包含任何安装命令,本教程步骤仅为通用准备动作,详细安装请查阅 INSTALLING.md。
- 项目主要语言为 C++,依赖与编译较复杂,建议严格按官方文档逐步执行。
- README 定义了 TTFT、T/S/U、T/S、TP、DP 等性能指标,评估 LLM 性能时需按此口径理解。
- 需要 Tenstorrent 硬件才能实际运行,无硬件时仅能做源码阅读与准备。
核心亮点
- 提供 TT-NN 高层算子库,覆盖 Stable Diffusion、LLM 等主流模型,上手门槛低
- TT-Metalium 支持自定义内核,可精细控制数据流与计算,性能优化空间大
- 原生支持多芯片 scale-out,适合大规模分布式推理与训练
不足之处
- 硬件生态较新,社区规模与文档丰富度相比 CUDA 仍有差距
- 依赖特定 Tenstorrent 硬件,无法在通用 GPU 上运行,迁移成本高
适用场景
- 在 Tenstorrent 加速卡上部署 Stable Diffusion 等图像生成模型
- 为 LLM 推理定制高性能内核,优化延迟与吞吐
- 构建多卡扩展的 AI 训练或推理集群
替代项目
CUDA、ROCm、oneAPI
上一篇:openvino
下一篇:ComfyUI-Docker
同类项目推荐
arboric
开源
给 AI 算力开经济模式,省 GPU 跑更多活
The "Economy Mode" for AI Compute
new-api
开源
一个网关接入所有大模型,协议随意转换,省心又省钱
Open-source AI gateway. Self-hosted LLM gateway with OpenAI-, Claude- and Gemini-com···
recodex
开源
自建 Codex 中转站,轻松管理 AI 请求
Codex中转,可自部署的代理服务
inference
开源
一行代码切换任意大模型,部署推理全搞定
Swap GPT for any LLM by changing a single line of code. Xinference lets you run open···
cache-dit
开源
让大 DiT 模型在有限显存下跑得更快更省
A PyTorch-native inference engine with cache, parallelism, quantization and cpu offl···
MLOps.NET
开源
让 ML.NET 模型也能像软件一样版本化、可追踪、易部署
A machine learning model operations and management tool for ML.NET
console
开源
集中管密钥,团队和 AI 代理都能安全取用
Secrets management for teams and AI agents.
vllm-mlx
开源
在 Mac 上本地跑大模型,速度超快,兼容 OpenAI 和 Claude。
High-performance OpenAI and Anthropic compatible LLM inference server for Apple Sili···
Windows-Copilot-API
开源
把 Windows Copilot 变成 OpenAI 兼容接口,开箱即调
Reverse engineered Windows Copilot into an OpenAI-compatible API. Access GPT-4 and G···
