eLLM

长程推理跑 CPU，比 GPU 还快，省卡省钱

eLLM 是一个用 Rust 编写的 CPU 推理引擎，目标是在长程（long-horizon）大模型推理任务上跑得比 GPU 还快。它针对的不是单次短问答，而是需要长时间连续生成、上下文不断累积的推理负载，比如智能体循环、长文档处理、多轮工具调用等场景。核心思路是把计算和内存调度做深做透：通过 CPU 侧的高效算子、缓存复用和内存带宽优化，减少 GPU 方案中频繁的数据搬运与显存瓶颈，从而在长序列、长时运行的推理中取得优势。项目支持 Qwen、Kimi K3 等主流开源模型，用 Rust 实现以获得低开销和高并发稳定性。对于没有 GPU 或 GPU 资源紧张、但又需要持续跑长上下文推理的团队，eLLM 提供了一条纯 CPU 的替代路径。目前项目处于早期，星标约 590，适合关注 CPU 推理优化和长程智能体基础设施的开发者研究试用。