xllm 是基础设施领域的开源项目,由 xLLM-AI 开发,2025 年首次发布。
在全站 13,014 个收录项目中,它的 GitHub 星标数(1,578)位列前 30%,在基础设施分类中处于中上游。
近 42 天,它的 GitHub 星标从 1,518 增加到 1,578,净增 60。
项目目前处于活跃维护状态,最近一次代码更新于 2026-09-23。Apache-2.0 许可证,可免费使用和部署。
它主要面向的使用场景是:在边缘设备上部署LLM实现低延迟推理。同类可对比的替代方案包括 llama.cpp、vLLM、TensorRT-LLM。




