MSLK
为 GenAI 训练推理准备的 PyTorch 高性能 GPU 算子集
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-10-31 · 当前星标 ★ 159
核心亮点
- 聚焦 FP8 行级量化与集合通信等大模型高频瓶颈算子，针对性强
- 以 PyTorch 算子库形式提供，便于在现有训练推理代码中直接集成
- 由 Meta 相关团队设计，算子实现思路对自研优化有参考价值
不足之处
- 项目处于早期，星标约 159，算子覆盖与接口稳定性有待观察
- 文档与社区生态尚不成熟，遇到问题可参考的资料有限
适用场景
- 大模型低精度训练中引入 FP8 量化算子降低显存与带宽开销
- 多卡分布式训练中优化集合通信环节的性能
- 推理服务中对量化等关键算子做针对性加速
替代项目
TransformerEngine、FlashAttention、DeepSpeed
下一篇：hyperspace-db
同类项目推荐
universal
开源
用可定制数字类型，在精度与性能间自由取舍
Large collection of number systems providing custom arithmetic for mixed-precision a···
tokentab
开源
一条命令，算清所有 AI 编程工具花了多少钱
A CLI that reads Claude Code, Codex, and Gemini CLI session logs and works out how m···
Grandet
开源
让 AI Agent 自动找到并接入最便宜的模型 API
Find the cheapest API for any model and connect it from your AI agent: Grandet Skill···
cerul
开源
让 AI 记住视频内容，秒级检索关键画面
Open-source video processing core and CLI. Search and annotate local videos with you···
milvus
开源
海量向量秒级搜索，轻松构建 AI 应用
Milvus is a high-performance, cloud-native vector database built for scalable vector···
awesome-production-machine-learn···
开源
一站式找到ML生产落地所需的所有开源工具
A curated list of awesome open source libraries to deploy, monitor, version and scal···
llm-bridge
开源
一套格式打通多家大模型，自带日志与错误兜底
Interoperability between input formats of various LLMs, with observability, error ha···
get-beam
开源
让 GPU 任务像调用 API 一样，按需弹性伸缩，省心省钱。
Run GPU inference and training jobs on serverless infrastructure that scales with yo···
chitu
开源
让大模型推理更快更省，轻松部署高并发服务
High-performance inference framework for large language models, focusing on efficien···