eLLM

长程推理跑 CPU，比 GPU 还快，省卡省钱

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署基础设施 🍴 复刻 58 🐛 待处理 2 👀 关注 16

GitHub ↗

GitHub 星标 ★ 596

维护状态活跃

是否开源开源

定价模式 🏷️完全免费开源项目，免费使用，定价信息待确认

项目预览

项目数据

分类基础设施

开发团队lucienhuangfu

GitHubhttps://github.com/lucienhuangfu/eLLM

定价模式🏷️完全免费

价格说明开源项目，免费使用，定价信息待确认

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议AGPL-3.0

主要语言Rust

技术栈/模型cpu-inference,kimi-k3,llm-infernece,long-horizon,qwen,rust-llm

GitHub 星标★ 596

上线时间2025-06-30 00:00:00

代码更新2026-11-03

仓库体积12.4 MB

本站数据更新2026-11-04

维护状态活跃

收录时间2026-09-16

浏览次数1

项目介绍

eLLM 是一个用 Rust 编写的 CPU 推理引擎，目标是在长程（long-horizon）大模型推理任务上跑得比 GPU 还快。它针对的不是单次短问答，而是需要长时间连续生成、上下文不断累积的推理负载，比如智能体循环、长文档处理、多轮工具调用等场景。核心思路是把计算和内存调度做深做透：通过 CPU 侧的高效算子、缓存复用和内存带宽优化，减少 GPU 方案中频繁的数据搬运与显存瓶颈，从而在长序列、长时运行的推理中取得优势。项目支持 Qwen、Kimi K3 等主流开源模型，用 Rust 实现以获得低开销和高并发稳定性。对于没有 GPU 或 GPU 资源紧张、但又需要持续跑长上下文推理的团队，eLLM 提供了一条纯 CPU 的替代路径。目前项目处于早期，星标约 590，适合关注 CPU 推理优化和长程智能体基础设施的开发者研究试用。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 596

技术标签

qwen

使用教程

难度：高级约 60 分钟部署方式：本地构建 5 步

环境要求

Linux 服务器
大容量内存
模型权重

安装与启动步骤

1克隆并编译

Rust 项目，编译产物是单个可执行文件。
```
git clone https://github.com/lucienhuangfu/eLLM.git
```
2备模型

权重格式要按它的说明准备。
3起服务

按参数指定模型路径与监听地址。
```
./target/release/main
```
4用客户端对话

仓库带 Python 客户端，先跑通一轮。
```
python3 scripts/chat.py
```
5量实际速度

CPU 推理靠大内存顶带宽，先确认你的机器够不够。