项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-21 · 当前星标 ★ 172
核心亮点
- 实测推理速度 147 t/s,比原生 llama.cpp 快 8.8 倍,性能提升显著
- 利用二手企业级硬件,大幅降低自托管推理的硬件成本
- NUMA 感知优化,针对多路服务器内存访问模式深度调优
不足之处
- 依赖特定 POWER8 架构,通用 x86 服务器上无法直接复现性能
- 文档/社区待观察:早期项目,使用教程和生态支持尚不完善
适用场景
- 在二手企业级服务器上自托管 LLM 推理服务,降低基础设施开支
- 边缘计算场景,需在本地或去中心化节点上运行推理,避免云依赖
- 对推理延迟和吞吐有高要求的批量处理任务,如批量文本生成
替代项目
llama.cpp、vLLM、TGI (Hugging Face Text Generation Inference)
上一篇:floe-guard
下一篇:Portainer 容器管理面板
同类项目推荐
tensorlake
开源
一键部署智能体后台任务,沙箱安全执行代码
Tensorlake is a serverless runtime for sandboxes and deploying background agentic ap···
langsmith-sdk
开源
给 LLM 应用装上黑匣子,调用全记录、效果可对比
This repo was archived on Oct 16, 2026. Python SDK moved to langchain-ai/langsmith-p···
compressed-tensors
开源
让量化稀疏模型权重标准化存盘、一键加载
A safetensors extension to efficiently store sparse quantized tensors on disk
pipelines
开源
在 Kubernetes 上编排机器学习流水线,一键运行和监控
Machine Learning Pipelines for Kubeflow
smg
开源
一套 API 接所有推理引擎,还能按缓存智能路由
Engine-agnostic LLM gateway in Rust. Full OpenAI & Anthropic API compatibility acros···
AI-Horde
开源
众包算力,免费生成 AI 图片和文字
A crowdsourced distributed cluster for AI art and text generation
mljet
开源
一行命令把 ML 模型变成 HTTP 服务
Minimalistic ML-models auto deployment tool
gpu-hot
开源
打开网页,实时盯紧每一块 NVIDIA GPU 的状态
Real-time NVIDIA GPU dashboard
MLOps.NET
开源
让 ML.NET 模型也能像软件一样版本化、可追踪、易部署
A machine learning model operations and management tool for ML.NET
