EAGLE

让大模型生成速度翻倍，无需牺牲输出质量

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 298 🐛 待处理 104 👀 关注 32

GitHub ↗

GitHub 星标 ★ 2574

维护状态低维护

是否开源开源

定价模式 🏷️完全免费开源项目，可自行部署使用，完全免费。

项目预览

项目数据

分类开源模型

开发团队SafeAILab

GitHubhttps://github.com/SafeAILab/EAGLE

定价模式🏷️完全免费

价格说明开源项目，可自行部署使用，完全免费。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议NOASSERTION

主要语言Python

技术栈/模型large-language-models,llm-inference,speculative-decoding

GitHub 星标★ 2574

上线时间2023-12-07 00:00:00

代码更新2026-02-20

仓库体积70.5 MB

本站数据更新2026-11-09

维护状态低维护

收录时间2026-08-09

浏览次数2

项目介绍

EAGLE是一个开源的大语言模型推理加速框架，由字节跳动团队开发，包含EAGLE-1、EAGLE-2和EAGLE-3三个版本，分别发表于ICML'24、EMNLP'24和NeurIPS'25。它解决的是大模型生成速度慢、计算成本高的问题。核心能力是通过基于动态树的草稿模型推测解码（speculative decoding）技术，在不改变模型输出质量的前提下，显著提升推理速度（最高可达3倍以上）。EAGLE-3进一步引入了动态树注意力机制和更高效的训练策略，支持Llama、Mistral、Vicuna等多种主流模型架构，并提供了与Hugging Face transformers和vLLM等推理框架的集成接口。项目代码结构清晰，包含训练和推理脚本，方便研究者复现和二次开发。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 2574

技术标签

large-language-models llm-inference speculative-decoding

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：进阶约 15 分钟部署方式：本地安装 5 步

环境要求

Python 3 环境（需支持 python -m venv）
已安装 git 并可访问 GitHub
pip 可正常联网安装 PyPI 依赖
本地具备可写入 ~/venvs 的用户目录权限

安装与启动步骤

1克隆 EAGLE 仓库

从 GitHub 拉取官方仓库到本地当前目录，确保网络可访问 GitHub。
```
git clone https://github.com/SafeAILab/EAGLE.git
```
2进入项目目录

切换到刚克隆出来的 EAGLE 目录，后续命令都在此目录执行。
```
cd EAGLE
```
3创建虚拟环境

在 ~/venvs 下建立名为 ea_env 的独立 Python 虚拟环境，避免污染系统环境。
```
python -m venv ~/venvs/ea_env
```
4激活虚拟环境

Linux/macOS 使用 source 激活；激活后命令行前缀会显示 (ea_env)。
```
source ~/venvs/ea_env/bin/activate
```
5安装依赖

按 README 提供的 requirements.txt 安装全部 Python 依赖，耗时取决于网速。
```
pip install -r requirements.txt
```