ram-coffers

用二手 POWER8 服务器,让 LLM 推理提速 8.8 倍,省下云账单。

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 基础设施 🍴 复刻 58 🐛 待处理 31 👀 关注 29
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 172
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目,免费使用,需自行部署

项目预览

ram-coffers 项目界面预览图
图片来源:项目官网

项目数据

分类基础设施
开发团队Scottcjn
定价模式🏷️完全免费
价格说明开源项目,免费使用,需自行部署
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议AGPL-3.0
主要语言Python
技术栈/模型ai-inference,ai-infrastructure,cost-optimization,depin,edge-ai,energy-efficiency,hebbian,inference-optimization,llama-cpp,llm,llm-inference,llmops,numa,power8,powerpc,ppc64le,proof-of-physical-ai,self-hosted,transformer,vec-perm
GitHub 星标★ 172
上线时间2026-01-19 00:00:00
代码更新2026-11-07
仓库体积876 KB
本站数据更新2026-11-19
维护状态较活跃
收录时间2026-08-21
浏览次数9

项目介绍

ram-coffers 是一个面向 LLM 推理的基础设施优化项目,通过 NUMA 感知的权重银行(weight banking)技术,在 refurbished 企业级 POWER8 服务器上实现了 147 tokens/秒的推理速度,相比原生 llama.cpp 提升 8.8 倍。该项目旨在降低自托管推理的成本,避免依赖云 API,属于 Proof of Physical AI 技术栈的一部分。其核心能力包括:利用 NUMA 架构优化内存访问模式,提升推理吞吐;支持边缘 AI 和去中心化物理基础设施(DePIN)场景;强调能效和成本优化,适合在二手硬件上部署。项目用 Python 实现,与 llama.cpp 生态兼容,但当前处于早期阶段,文档和社区支持尚待完善。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-21 · 当前星标 ★ 172

核心亮点

  • 实测推理速度 147 t/s,比原生 llama.cpp 快 8.8 倍,性能提升显著
  • 利用二手企业级硬件,大幅降低自托管推理的硬件成本
  • NUMA 感知优化,针对多路服务器内存访问模式深度调优

不足之处

  • 依赖特定 POWER8 架构,通用 x86 服务器上无法直接复现性能
  • 文档/社区待观察:早期项目,使用教程和生态支持尚不完善

适用场景

  • 在二手企业级服务器上自托管 LLM 推理服务,降低基础设施开支
  • 边缘计算场景,需在本地或去中心化节点上运行推理,避免云依赖
  • 对推理延迟和吞吐有高要求的批量处理任务,如批量文本生成

替代项目

llama.cpp、vLLM、TGI (Hugging Face Text Generation Inference)

上一篇:floe-guard

下一篇:Portainer 容器管理面板

同类项目推荐

tensorlake 开源

一键部署智能体后台任务,沙箱安全执行代码

Tensorlake is a serverless runtime for sandboxes and deploying background agentic ap···

★ 1047 2026-08-09
langsmith-sdk 开源

给 LLM 应用装上黑匣子,调用全记录、效果可对比

This repo was archived on Oct 16, 2026. Python SDK moved to langchain-ai/langsmith-p···

★ 1082 2026-09-12
compressed-tensors 开源

让量化稀疏模型权重标准化存盘、一键加载

A safetensors extension to efficiently store sparse quantized tensors on disk

★ 338 2026-10-28
pipelines 开源

在 Kubernetes 上编排机器学习流水线,一键运行和监控

Machine Learning Pipelines for Kubeflow

★ 4266 2026-08-09
smg 开源

一套 API 接所有推理引擎,还能按缓存智能路由

Engine-agnostic LLM gateway in Rust. Full OpenAI & Anthropic API compatibility acros···

★ 731 2026-10-25
AI-Horde 开源

众包算力,免费生成 AI 图片和文字

A crowdsourced distributed cluster for AI art and text generation

★ 1692 2026-08-09
mljet 开源

一行命令把 ML 模型变成 HTTP 服务

Minimalistic ML-models auto deployment tool

★ 69 2026-08-09
gpu-hot 开源

打开网页,实时盯紧每一块 NVIDIA GPU 的状态

Real-time NVIDIA GPU dashboard

★ 1648 2026-08-09
MLOps.NET 开源

让 ML.NET 模型也能像软件一样版本化、可追踪、易部署

A machine learning model operations and management tool for ML.NET

★ 81 2026-08-09