项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-10-08 · 当前星标 ★ 9017
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- Python 环境与可用的 pip
- 支持 CUDA 的 GPU 环境(快速开始示例使用 PyTorch CUDA 张量)
- AMD GPU 需主机安装 ROCm,并先安装 ROCm 版 PyTorch
- 已安装 PyTorch(运行快速开始示例所需)
安装与启动步骤
-
1安装稳定版
从 PyPI 安装最新的 tilelang 稳定版,这是 README 推荐的首选安装方式。
pip install tilelang -
2验证安装
导入 tilelang 并打印版本号,能输出版本即安装成功。
python -c "import tilelang; print(tilelang.__version__)" -
3可选装 nightly
nightly wheel 包含下一个稳定版之前的新特性与修复,但稳定性可能不如正式版。
pip install tilelang --find-links https://tile-ai.github.io/whl/nightly -
4AMD 环境准备
AMD GPU 上 Linux wheel 开箱可用,但需先装 ROCm 版 PyTorch,且运行时要求主机已安装 ROCm。
pip install torch --index-url https://download.pytorch.org/whl/rocm7.0 pip install tilelang -
5运行快速开始示例
把示例代码保存后运行,它会定义、编译、执行并校验一个 FP16 GEMM 加 ReLU 的 kernel,成功时打印 GEMM + ReLU passed.
import torch import tilelang import tilelang.language as T @tilelang.jit def matmul_relu(A, B, block_M: int = 128, block_N: int = 128, block_K: int = 32): M, N, K = T.const("M, N, K") A: T.Tensor((M, K), T.float16) B: T.Tensor((K, N), T.float16) C = T.empty((M, N), T.float16) with T.Kernel(T.ceildiv(N, block_N), T.ceildiv(M, block_M), threads=128) as (bx, by): A_shared = T.alloc_shared((block_M, block_K), T.float16) B_shared = T.alloc_shared((block_K, block_N), T.float16) C_local = T.alloc_fragment((block_M, block_N), T.float32) T.clear(C_local) for k in T.Pipelined(T.ceildiv(K, block_K), num_stages=3): T.copy(A[by * block_M, k * block_K], A_shared) T.copy(B[k * block_K, bx * block_N], B_shared) T.gemm(A_shared, B_shared, C_local) for i, j in T.Parallel(block_M, block_N): C_local[i, j] = T.max(C_local[i, j], 0) T.copy(C_local, C[by * block_M, bx * block_N]) return C M = N = K = 1024 a = torch.randn((M, K), device="cuda", dtype=torch.float16) b = torch.randn((K, N), device="cuda", dtype=torch.float16) c = matmul_relu(a, b) torch.testing.assert_clos
如何确认成功
执行 python -c "import tilelang; print(tilelang.__version__)" 能打印版本号;运行快速开始示例打印出 GEMM + ReLU passed.
常见问题
Q:nightly 版和稳定版该选哪个?
A:优先用 pip install tilelang 安装稳定版;nightly 含最新特性和修复,但可能不如正式版稳定,仅在有需要时使用 --find-links 方式安装。
Q:AMD GPU 上能直接用吗?
A:同样的 Linux wheel 开箱可用,但需先安装 ROCm 版 PyTorch,且运行时主机必须已安装 ROCm,详见官方安装指南中的 ROCm 说明。
Q:想用 Docker、源码构建或自定义 TVM 怎么办?
A:README 未给出这些命令,需按官方完整安装指南操作:https://tilelang.com/get_started/Installation.html
Q:示例为什么指定 device="cuda"?
A:示例使用 PyTorch CUDA 张量,在 ROCm 系统上 PyTorch 同样使用 cuda 这个设备名;TileLang 会根据当前环境自动选择目标。
注意事项
- nightly 构建的稳定性可能低于官方正式发布版本。
- 源码构建、可编辑安装、Docker、ROCm 细节、pip 提供的 CUDA 工具链及自定义 TVM 均需参考官方安装指南。
- 运行快速开始示例需要可用的 CUDA/ROCm GPU 环境与 PyTorch。
核心亮点
- 用 Python 描述分块与流水线,避免手写大量 CUDA 样板代码
- 抽象层级兼顾易用与可控,能针对内存层级和线程映射做精细调优
- 面向多后端(GPU/CPU/加速器),同一份算子逻辑可迁移到不同硬件
不足之处
- DSL 与编译器栈较新,部分边界场景的调试和报错信息可能不够友好
- 生态与文档仍在完善中,复杂算子的最佳实践积累有限
适用场景
- 为自研大模型实现高性能注意力或矩阵乘算子
- 在多种 GPU/加速器上快速移植和调优同一套 kernel
- 教学或研究中对比不同分块与流水线策略对性能的影响
替代项目
Triton、TVM
上一篇:x
下一篇:streamdown
同类项目推荐
Agently
开源
用结构化代码快速构建 GenAI 应用,轻松切换模型
[GenAI Application Development Framework] Build GenAI application quick and easy ···
cumulative-reasoning
开源
让大模型像人一样一步步推理,复杂问题不再一步错步步错。
[TMLR] Cumulative Reasoning With Large Language Models (https://arxiv.org/abs/2308.0···
skills
开源
让 AI 代理真正会写 Expo 和 EAS 命令
A collection of AI agent skills for working with Expo projects and Expo Application ···
tree-of-thought-llm
开源
让大模型像人类一样反复推敲,多路径思考找最优解
[NeurIPS 2023] Tree of Thoughts: Deliberate Problem Solving with Large Language Mode···
mellea
开源
把大模型调用写成可校验、可组合的可靠程序
Mellea is a library for writing generative programs.
openbot
开源
像用操作系统一样管理你的 AI 代理,统一调度、高效协作。
Meet OpenBot. OS for Agents
Interpretable-Context-Methodolog···
开源
用文件夹搭智能体,打开目录就看懂流程
Folder structure as agent architecture. ICM replaces framework-level orchestration ···
langchain-graphrag
开源
把知识变成图谱,让RAG回答更全局、更懂关系。
GraphRAG / From Local to Global: A Graph RAG Approach to Query-Focused Summarization
oxideterm
开源
用 Rust 打造 AI 终端,轻量无遥测,本地远程都能用。
Fast, native Rust + GPUI workspace for local and SSH with MCP tools—no WebView, no ···
