emmy

选配方或自调优,让 LLM 推理在 GPU 上跑得更快

emmy 是一个面向 LLM 推理的 GPU 编译器优化工具,旨在解决大模型推理性能调优复杂、门槛高的问题。它提供了一系列预置的优化配方,用户可以直接选用,也可以针对自有模型通过内核融合、自动调优和高级调度等手段进行定制优化。项目支持在多种 GPU 类型和配置下运行基准测试,帮助用户量化优化效果,并支持追踪实验结果和社区共享,便于协作和复现。目前项目处于早期阶段,用 Python 编写,适合对性能敏感且希望深度优化推理管线的开发者。

开源 free 基础设施
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 81
维护状态 活跃
是否开源 是
定价模式 free

项目数据

分类基础设施
开发团队cloudrift-ai
所属国家
定价模式free
价格说明开源项目,Apache-2.0许可证,可自由使用和部署,无付费版本。
访问状态
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型compilers,gpu-computing,inference,llm-inference,llmops
GitHub 星标★ 81
30天Star增速
HF 下载量
上线时间2025-08-02 00:00:00
最近更新2026-09-22 00:00:00
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数5

使用教程

核心亮点

  • 内置多种优化配方,开箱即用,降低调优门槛
  • 支持内核融合、自动调优和高级调度,灵活定制优化策略
  • 提供跨 GPU 类型的基准测试和结果追踪,便于对比和分享

不足之处

  • 项目处于早期阶段,文档和社区生态待观察
  • 依赖特定 GPU 环境,通用性可能受限

适用场景

  • 需要快速提升 LLM 推理性能的部署场景
  • 研究 GPU 内核优化和调度策略的开发者
  • 团队内部进行推理性能基准测试和对比分析

替代项目

Triton、TVM、TensorRT

项目介绍

emmy 是基础设施领域的开源项目,由 cloudrift-ai 开发,2025 年首次发布。

它收录于基础设施分类,该分类目前共有 1,132 个项目,GitHub 星标数为 81。

项目目前处于活跃维护状态,最近一次代码更新于 2026-09-22。Apache-2.0许可证,可自由使用和部署,无付费版本。

它主要面向的使用场景是:需要快速提升LLM推理性能的部署场景。同类可对比的替代方案包括 Triton、TVM、TensorRT。

上一篇:MachineAuth

下一篇:openinference

同类项目推荐

freebuff-proxy 开源

聚合多账号,一键接入 OpenAI 兼容 API,轻松管理会话。

Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···

★ 213 2026-08-20
microduck 开源

用 Rust 造一只会走路的桌面小鸭,快速上手双足机器人。

A Tiny biped duck robot

★ 8684 2026-09-10
soperator 开源

用 Kubernetes 原生方式运行 Slurm,简化 HPC 集群管理。

Run Slurm in Kubernetes

★ 439 2026-08-10
ollama 开源

一条命令本地跑起大模型,免费、私密、不卡顿

Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···

★ 181484 2026-08-09